检索增强生成(RAG)系统通过从知识数据库中检索相关文档,并利用大型语言模型(LLM)处理这些文档来回答查询。本文发现,当RAG系统操作包含不可信内容的数据库时,容易受到一种称为“jamming”的拒绝服务攻击。攻击者可以向数据库中添加单个“blocker”文档,该文档会在特定查询时被检索,导致RAG系统无法回答该查询,表面上是因为缺乏相关信息或回答不安全。作者描述并测量了多种生成blocker文档的方法,包括一种基于黑盒优化的新方法。该方法(1)不依赖于指令注入,(2)不需要攻击者了解目标RAG系统使用的嵌入或LLM,以及(3)不使用辅助LLM。作者在多种嵌入和LLM上评估了jamming攻击,并证明现有的LLM安全指标无法捕捉其对jamming的脆弱性。最后,讨论了针对blocker文档的防御措施。本文的核心贡献在于揭示并量化了RAG系统在面对恶意文档时的拒绝服务风险,提出了一种通用的攻击生成方法,并对现有安全评估的不足进行了批判。
💡 推荐理由: RAG系统广泛应用于企业知识库和问答服务,本文揭示的jamming攻击可导致关键功能拒绝服务,且攻击者无需特殊权限或了解内部模型,实际威胁较大。现有安全指标未能有效预警,需引起防御者重视。
🎯 建议动作: 研究跟进:评估使用的RAG系统是否易受jamming攻击,并参考论文中讨论的防御策略进行加固