#hubness

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Prashant Kumar Pathak, Tarun Kumar Sharma

该论文针对检索增强生成(RAG)系统中存在的向量中心(hubness)投毒风险提出了一种轻量级的准入时防御方法。在RAG中,少量文档可能成为大量查询的最近邻,这种“中心”现象使得攻击者可以通过注入一份恶意文档影响多个不相关请求的回答,构成数据投毒攻击。现有防御依赖于周期性的逆k近邻扫描,存在暴露窗口且需要重复扫描整个语料库,效率较低。作者研究了在文档插入阶段进行控制的方法:通过一组哨兵查询(sentinel queries)对每个待插入文档进行评分,隔离那些具有中心化特征的文档,从而在写入前阻断潜在投毒。在包含10万文档的两个语料库上,使用五种不同编码器,并在攻击者和防御者查询集不重叠的条件下,全局门控(global gate)在关键嵌入空间点达到召回率1.0(有效范围内≥0.92),对HotFlip攻击的召回率为0.91±0.07,对常规文档的误报率仅1%。按主题的局部门控(per-topic gate)则无可靠收益,这与各向异性耦合局部与全局可见性一致。阈值通过增量方式维护,插入成本与语料库规模无关,删除成本摊还。在HNSW索引上,准入控制使摄取延迟增加约3.1%,评分延迟在向量数达到百万级时仍保持平稳,近似索引导致的决策翻转仅占1.2%且不涉及攻击。论文还指出,对于自然或紧密领域的中心,溯源(provenance)可作为门控的补充。本研究适合RAG系统开发者、检索系统安全研究人员以及关注AI供应链安全的从业者阅读。

💡 推荐理由: 针对RAG系统投毒攻击提供了一种无需修改索引结构、在文档录入阶段即可生效的防御方案,填补了现有周期性防御的暴露窗口问题,实测高效且低误报,对工程落地有直接参考价值。

🎯 建议动作: 研究跟进,在内部RAG原型中复现并评估该方法的实际效果。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hiroyuki Deguchi, Katsuki Chousa, Yusuke Sakai

该论文研究了多模态编码器(如CLIP)在跨模态检索和评估任务中存在的“中心点”(hubness)问题。在高维嵌入空间中,某些嵌入点(称为hub)会与大量不相关样本具有高相似度,这可能导致跨模态相似性计算的异常。作者提出了一种方法,能够识别出这样的hub嵌入以及对应的hub文本。具体地,他们通过分析嵌入空间的分布特性,找到那些在多个查询中频繁成为近邻的嵌入点,并据此生成或筛选出hub文本。实验在MSCOCO和nocaps的图像描述评估任务,以及MSCOCO和Flickr30k的图像到文本检索任务上进行。结果表明,存在单个hub文本,其与大量图像计算得到的相似度分数,不合理地达到甚至超过了人工撰写的参考描述。这揭示了当前跨模态编码器的脆弱性:攻击者可能利用此类hub文本操纵检索结果或评估指标。论文的主要贡献是系统性地展示了hubness对跨模态编码器的实际威胁,并提供了诊断方法。适合关注多模态AI安全、信息检索鲁棒性的研究人员阅读。

💡 推荐理由: 该研究揭示了多模态编码器的结构性漏洞,单个文本即可污染检索或评估结果,威胁内容审核、图像搜索等应用的可靠性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)