本文研究了针对基于检索增强生成(RAG)的AI安全代理的知识投毒攻击。随着安全代理越来越多地依赖RAG从外部知识源(如CVE报告、CTF write-ups)获取漏洞分析和利用推理信息,攻击者可以通过注入恶意构造的write-up(称为Poisoned Playbooks)来操控代理的行为。作者在11个CTF挑战、3个先进LLM系列(含2代模型)和11个真实CVE上进行了系统实验,发现投毒效果具有系统性而非随机性:多数情况下,代理会采纳被投毒的信息并产生错误的行为。为解释这一现象,作者提出了验证边界(Verification Boundary, VB)的概念,这是一个三层次的经验分类,基于代理能够利用何种证据来反驳检索到的声明。此外,作者评估了验证提示(verification prompting)和多源检索(multi-source retrieval)两种防御措施,发现它们在存在强证据时有效,但在证据稀疏或零日条件下效果减弱。本文揭示了RAG安全代理面对知识污染时的脆弱性,并为设计更鲁棒的防御策略提供了理论基础。
💡 推荐理由: 揭示了AI安全代理在依赖外部知识时面临的新型投毒风险,对构建可信的自动化安全工具具有重要警示意义。
🎯 建议动作: 研究跟进