该论文指出当前 LLM 智能体(LLM-Agent)安全领域已积累大量防御手段——提示词加固(prompt hardening)、内容过滤、权限闸门、沙箱等——但缺乏统一框架告诉部署者一项防御究竟提供了什么保证、这种保证来自何处。作者引入「验证自主等级」(Verification Autonomy Levels, VAL)分类体系,按保证的来源把防御划分为 L0(仅依赖 LLM 自我声明)、L1(确定性规则)、L2(客观地面真值 ground truth)、L3/L4(可判定完备性)、L5(不可能)六个层级,并将其应用到 22 种智能体安全防御上;该分类被声明为可证伪,在冻结的卡片上取得 10/10 的预测命中。随后论文开展了首个受控的「部署价值」对比实验:在同等预算下,对比 VAL 指导的防御栈(确认闸门 confirmation gate + schema 沙箱)与主流直觉式防御栈(提示词加固 + 关键词过滤),使用 50 个场景、12 种攻击变体,并进行自适应/白盒/PAIR 升级攻击,约 7,000 次测试床调用,另在 AgentDojo/JADE 上约 10,000 次框架调用。结果显示:VAL 栈在 1.000 良性成功率下保持 0.000 攻击成功率(AgentDojo 银行场景中 ASR 0.5%、效用 79.7%,无防御时为 4.3%);而直觉栈虽然也达到 0.000 ASR,却把全部良性操作杀死,其安全性来自模型行为的运气而非结构保证。在攻击面逐渐加难的多个测试床上,直觉栈的「零」会漂移(0 → 1.9% → 6.2%,JADE 上 n=16),而 VAL 栈在其运行设计域(ODD)内保持稳定(0 → 0 → 0),唯一突破是一处已披露的 ODD 之外的口令缺口(0.5%)。核心结论是:同样的「零 ASR」代表两种完全不同的保证——零只是一个结果,不是保证。
💡 推荐理由: 它直接挑战了业界用「零攻击成功率」作为防御有效性证据的普遍做法,指出缺乏效用指标与 ODD 声明的零 ASR 可能只是模型行为运气或功能瘫痪,会误导部署决策。该文提供的 VAL 分层与受控对比方法,可用于重新评估自有智能体防御栈的真实保证边界。
🎯 建议动作: 研究跟进,并纳入内部智能体防御选型与安全评估清单的讨论