本文聚焦 LLM Agent 安全评测的「有效性」问题。当 LLM Agent 能够调用具备特权能力的工具（文件读写、邮件发送、代码执行、外部 API 等）时，它就成为间接提示注入（IPI, Indirect Prompt Injection）的目标：攻击者把对抗性指令嵌入到 Agent 检索到的数据（网页、文档、工具返回内容）中，从而劫持 Agent 的后续动作。近年来大量工作声称自己的防御能显著降低 IPI 攻击成功率，但「这些评测本身是否成立」却极少被审视。作者对某 IPI 基准及其评测框架（harness）做了系统性审计，归纳出四类缺陷：（1）静默载荷未投递——攻击载荷实际上从未真正进入 Agent 的输入，测试等于空跑；（2）以「工具身份」而非「工具参数」判定攻击成功——只要 Agent 调用了某个工具就算攻击成功，忽略参数内容，导致严重高估；（3）把误拒率与模型本身能力不足混为一谈——模型不会调用工具被误读为防御过度拦截；（4）缺乏审计轨迹——不强制持久化执行轨迹，结果不可复核、不可复现。作者通过在「缺陷定义」与「修正定义」下对同一批执行轨迹重新打分来量化失真程度：在真实 Agent 行为上，工具身份判定给出的攻击成功率为 21.7%，而按参数级判定的真实值仅为 1.2%；最极端的一例是，某开源模型此前被报告为 62.8% 的攻击成功率，在修正后的评测框架下为 0%，即原数字基本是「载荷未投递 + 身份级判定」造成的伪像。作者发布了修正版评测框架，通过构造性设计让上述缺陷「不可表达」：机器可校验的载荷投递位置、参数级攻击者谓词、逐场景隔离环境、强制轨迹持久化。基于该框架，作者报告了领域内此前未报告的三类量：被攻陷的 Agent 是否会主动披露攻击（自披露行为）、LLM-as-judge 防御的完整安全/效用权衡曲线、以及把工具调用能力与防御性过度拦截解耦后的度量。修正框架还推翻了一个被广泛引用的「能力壁垒」结论：某此前被判为「不具备工具调用能力」的模型实际完全具备该能力，旧结论源于环境配置不匹配。作者的核心论点是：在 Agent 安全领域，评测有效性是防御主张的前提条件而非脚注。