该论文研究了大型语言模型（LLM）智能体在工具选择过程中的失败机制。通常认为，模型在工具集中未能注意到正确工具是导致错误选择的原因，但论文通过注意力片段分析提出了相反的观点：模型在80%的情况下正确关注到了正确的工具，但依然做出了错误选择。作者通过三种实验验证了这一结论：1）输入侧修复（如重新排序或复制正确工具）仅能恢复不超过23%的失败，而读出侧干预可恢复59-91%；2）两种不同表征的读出侧干预（注意力对数偏置和残差流引导向量）在恢复失败任务上高度一致（Jaccard系数0.865），表明瓶颈位于读出阶段；3）提出一种无需训练、无真实标签的选择器，基于每个候选工具的注意力片段，在BFCL和Seal-Tools基准上分别提升+11.9和+14.9个百分点的函数选择准确率。实验覆盖了3B-32B参数的多个模型，证明了注意力-选择分离现象的普遍性。该工作揭示了智能体工具调用中的关键认知瓶颈，并提供了可部署的改进方案。

本研究聚焦于大语言模型（LLM）代理中的工具选择机制面临的提示注入攻击威胁。LLM代理通常通过调用外部工具来扩展其能力，例如搜索引擎、计算器或数据库查询。工具选择是代理根据用户指令和上下文自动决定调用哪个工具的关键步骤。研究者发现，攻击者可以通过精心构造的提示，操纵代理选择恶意工具或绕过安全限制，从而引发数据泄露、权限滥用等风险。论文系统性地分析了这类攻击的原理，提出了一种基于对抗性提示的威胁模型，并设计了多组实验验证攻击的可行性和影响。实验表明，当前主流LLM代理（如基于GPT-4、LLaMA等）的工具选择模块在面临针对性提示注入时表现出脆弱性。作者进一步讨论了防御策略，包括输入净化、上下文隔离和工具使用权限最小化等。该研究揭示了LLM代理安全性的新维度，为开发更健壮的代理系统提供了理论基础和实用建议。适合AI安全研究员、LLM应用开发者及安全工程师阅读。