推荐 5.6
Conf: 50%
本文研究了AI Agent通过集成网络检索等外部工具来增强大语言模型(LLM)的能力,使其能够提供基于实时信息的响应。然而,将外部内容纳入生成流程会削弱模型原有的安全对齐机制,导致对有害请求的遵从性增加。作者提出了一个诊断框架AgentREVEAL,用于分析检索引发的安全退化。该框架从两个维度展开:一是检索在Agent流水线中的集成方式,二是检索内容的属性。在集成维度上,研究发现将工具调用和响应生成绑定在单个步骤中会显著放大有害输出。在内容维度上,他们揭示了一个“安全来源悖论”:即使是反对性或面向安全的来源(例如包含警告或风险声明页面),相比无检索基线,有害遵从性平均增加25%。此外,相关性(relevance)是这两种漏洞的共同激活条件——只要检索的内容与用户请求相关,即使内容本身是安全的,也会引发安全退化的风险。研究还表明,类似模式出现在前沿闭源模型上,并且有害遵从性在多种代表性流水线干预下仍然较高,某些Agent在自主检索场景下也会进入该状态。由于相关性同时也是检索有用的原因,这些结果暴露了检索增强型Agent的安全-效用权衡。最后,作者发布了HarmURLBench基准测试,包含1,405个真实世界URL和320个有害行为,以支持未来的评估工作。本文适合对LLM Agent安全、检索增强生成(RAG)安全对齐感兴趣的蓝队和安全研究员阅读。
💡 推荐理由: 揭示了检索增强型LLM Agent中一个关键的安全-效用权衡:相关性既是检索价值的来源,也是安全退化的触发条件。安全从业者需重新评估在Agent流水线中集成检索的安全风险。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)