这篇论文研究一个在 LLM Agent 安全部署中非常现实的问题: 当团队要为 Agent 选择提示注入(prompt injection)检测器来筛查工具输出(tool outputs)时, 通常依据的是厂商或论文在公开基准上的分数, 但这些分数能否预测检测器真正嵌入 Agent 之后的实际表现, 此前缺乏系统验证。 作者提出的核心方法是"差分重放"(differential replay): 他们把 AgentDojo 和 tau-bench 两个 Agent 基准中的真实工具调用抽取出来, 在没有 LLM 参与的情况下直接重放这些调用, 从而得到"构造上即良性"(benign by construction)的工具输出; 再通过对比注入与未注入两次重放的差异来标注注入样本, 避免了人工标注与 LLM 生成带来的偏置。基于这套数据, 作者评测了 15 个检测器(其中包括 Meta 的 Prompt Guard 2)以及两个任务感知的 LLM 评判器(judge), 并同时在 BIPIA 基准上做对照实验。 主要发现有三点。第一, 检测器排名在基准之间几乎不可迁移: BIPIA 上表现最好的检测器在 1% 误报率下只能捕获 AgentDojo 中 2% 的注入; 而能捕获 AgentDojo 中 72% 注入的检测器, 在 tau-bench 上只能捕获 15%。第二, 与之形成对比的是, 两个 Agent 基准上的误报率却能互相迁移, 且跨度极大, 从几乎不误报到超过 90% 都有。第三, 在训练数据公开的模型上, 训练输入的"形式"(而非内容)可以解释结果差异: BIPIA 的榜首模型是在完整 BIPIA 输入上训练的; 而一个模型即便在短 prompt 形式下见过 InjecAgent 的攻击字符串, 也无法帮助它在工具输出内部识别这些攻击; 在两个 Agent 基准上综合表现最好的检测器与任何基准都没有数据重叠, 而是在 Agent 风格输入上训练的。 论文的结论是方法论层面的: 用于指导部署决策的评测, 应当使用目标 Agent 自身产生的工具输出、在低误报率约束下报告检出率, 并且必须审计检测器到底是在什么数据上训练的。