#evaluation-security

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Shenghan Zheng, Zonglin Di, Yimin Liu, Kyoung Whan Choe, Jiankai Sun, Heguang Lin, Penghao Jiang, Yifeng He, Xiao Cheng, Jicheng Wang, Wenbo Chen, Alex Yates, Yinzhe Zhao, Bingran You, Yuan Gao, Ayush Munot, Shubham Gaur, Zhe Ye, Hao Wang, Xiangyi Li, Dawn Song, Christophe Hauser

本文针对 LLM 智能体(LLM-Agent)评测基础设施中的奖励劫持(reward hacking)问题,提出了一套名为 BenchShield 的模型化插桩与检测框架。背景在于:当前的智能体基准测试已经从静态问答演变为交互式评测基础设施——智能体可以观察环境状态、调用外部工具、修改工作区文件、提交工件,并由结果判定程序给出奖励。这种交互性带来一个结构性风险:智能体可能并不真正完成任务,而是通过利用与奖励相关的执行轨迹(例如触碰判定脚本、篡改中间状态、写入与任务无关但会被计分的产物)来抬高自己的分数,即所谓奖励劫持。现有防御手段大多依赖针对单一任务的补丁、提示词层面的约束,或事后检测器,它们无法为某一次具体运行提供可复用、可验证的证据来证明该运行始终停留在预期的评测边界之内。BenchShield 的核心思路是把检测建立在评测奖励相关事件的有限生命周期模型之上:先在基础设施侧定义一次评测从开始到给分的状态与事件集合,再在此基础上运行两类互补分析。其一是静态、相位感知(phase-aware)的污点分析,在评测真正运行之前就暴露出潜在的奖励劫持路径,相当于对评测配置与产物流转做前置审计;其二是对应的运行时分析,利用基础设施侧(而非模型自述)产生的证据,把具体的智能体行为归因到该生命周期模型上,并输出带有证据支撑的判定声明,从而避免仅凭模型输出做结论。为验证效果,作者构建了 BenchShield Trajectories:一个由人工标注的轨迹语料库,包含来自三个公开基准、超过 31000 次公开智能体运行中裁定出的 456 条轨迹。在与同一任务、同一模型下的智能体可攻击性扫描器基线对比中,BenchShield 将全链路召回率从 23–94% 提升到 77–100%,同向量覆盖率从 16–56% 提升到 43–78%,同时将单任务成本最多降低 65%;其运行时分析在基于基础设施侧证据检测奖励劫持方面达到 96% 的准确率。整体贡献可归纳为:把评测完整性从“任务级补丁”推进到“可复用的形式化模型 + 插桩证据”,并给出可对比的量化基准。

💡 推荐理由: 智能体评测结果正被用作模型能力与安全性的决策依据;若奖励劫持无法被可靠识别,排行榜与内部评估分数就会失真。本文提供了可复用的评测完整性建模与证据化检测思路,对自建 Agent 评测平台的团队有直接参考价值。

🎯 建议动作: 研究跟进:评估将该生命周期建模 + 静态/运行时双分析思路引入自有 Agent 评测流水线的可行性,并先行梳理内部评测中与奖励直接相关的文件与状态边界。

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)