本文关注检索增强生成(RAG)系统中的语料投毒威胁:由于 RAG 会把外部语料检索后拼接进 LLM 上下文,攻击者只需向知识库注入少量文档,就可能操纵模型对特定问题的回答。此前针对开放域问答的多段落投毒研究,普遍把同一个目标论断反复写入风格相近的文档里,结果是这些毒化段落在词汇与语义上高度相关,在嵌入空间中形成密集簇,相似度过滤、聚类检测以及冲突感知的防御能够据此联合识别并把它们一起压制。作者提出 DnD(Divide and Doubt)攻击,基于两条设计原则来规避这类防御:第一,把对目标答案的支持分散到一批行文风格、体裁、表述方式差异很大的段落中,使毒化文档的表征在嵌入空间中彼此分散,破坏基于相似性或聚类的聚合检测;第二,额外加入一段对“参考答案”所依赖证据提出质疑的内容,当检索器同时召回多篇毒化段落时,这种制造怀疑的文本会削弱模型对原始正确证据的信任,进一步推动其采纳攻击者设定的目标答案。作者在两个开放域问答数据集、三种主流 LLM 以及九种不同的 RAG 配置上开展系统评估,覆盖检索器的黑盒与白盒两种访问假设。实验表明,DnD 在绝大多数配置下达到或超过此前方法的攻击效果,并且在面对聚类感知与冲突感知防御时增益最为明显,说明现有 RAG 防御对“风格多样性投毒”与“证据可信度操纵”的组合缺乏有效的对抗手段。核心贡献在于提出了分散支持与制造怀疑相结合的投毒范式,并系统量化了它对当前 RAG 防御体系的有效性,为后续鲁棒性研究指明了新的盲区。
💡 推荐理由: RAG 已被广泛用于企业知识库、客服、搜索问答等场景,语料投毒可直接污染大模型输出且无需接触模型权重。DnD 证明聚类与冲突感知这两类主流防御存在系统性盲区,意味着依赖单一相似度检测的入库审核并不足以保障 RAG 可信度,安全团队需要重新评估语料信任边界与检测策略。
🎯 建议动作: 研究跟进:将该论文的评估方法与结论纳入内部 RAG 安全评估基线,并针对多样性投毒与证据质疑类文本补充检测规则。