Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback

本文研究了大型语言模型（LLM）代理在使用外部工具时面临的一种新型安全威胁：认知中毒（cognitive poisoning）。在这种攻击场景下，恶意工具在探索阶段表现得合理且有用，通过提供看似无害的反馈逐步积累代理的信任，只有当隐藏状态条

历史摘要 · 未重新核验 · arXiv cs.CR