#attack-defense

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Xinjie Shen, Junran Wang, Rongzhe Wei, Pan Li

该论文《SEAD: A State-Based Perspective on Attack and Defense in Tool-Using Agents》针对工具调用型语言模型智能体(tool-using agents)提出了一种以「状态」为核心视角的攻防统一框架。研究背景是:这类智能体越来越多地通过调用工具对文件、权限、数据库记录等外部系统产生持久化影响,而先前动作可能已经悄悄改变了底层状态,使得之后一个看似平常、本身无害的动作在实际上下文中变成有害行为。核心问题在于:智能体与外部世界交互时可见的只是交互轨迹(指令与工具调用),而评估某个动作是否危险所需的底层状态信息往往是部分可观测、不可见的,因此攻防双方实际上是在「部分可观测状态控制」问题下博弈。 作者将攻击与防御统一形式化为 SEAD,并从同一执行过程推导出双方的设计需求。攻击侧提出 DART:由于攻击者只能提供指令、具体动作由目标智能体自行选择,DART 将有害目标分解为一系列局部看起来合理的步骤,并利用真实工具执行返回的反馈来引导轨迹搜索,从而在不依赖显式恶意指令的情况下逼近危险状态。防御侧提出 SAGE:防御方必须在执行前、在状态证据不完整的前提下作出判定,因此 SAGE 通过只读查询主动探查相关状态,再决定放行或阻断每一个动作,并且对被阻断之后重新提出的动作同样进行新一轮状态核查,避免绕过。 为支撑可复现评估,作者构建了环境可验证的数据集,将受控初始状态、可重放的工具执行环境和任务特定的可执行检查整合在一起。实验在四个目标模型上进行:DART 相比竞争基线在语义层面的攻击成功率提升 18.8 至 35.9 个百分点,且在可执行验证下增益一致;在录制的轨迹上,SAGE 保留了 95.79% 的正常轨迹,同时在「使危害成立」的边界处拦截了 92.73% 的有害路径;在线攻防评估中,SAGE 将 DART 的可执行攻击成功率从 48.0% 降至 4.0%,并在四种攻击方法和跨出域环境中保持有效性。作者已开源代码与数据。

💡 推荐理由: 工具型智能体的风险往往来自「合法步骤串联成有害后果」,传统基于单步指令或文本内容的检测难以覆盖。SEAD 把攻防归约为部分可观测状态控制,并给出可落地的执行前只读状态核查与阻断后再核查机制,为智能体运行时防护、工具权限编排与轨迹审计提供了可迁移的方法论和可复现评测基准。

🎯 建议动作: 研究跟进:复现其状态核查防御思路,评估是否可集成到内部智能体工具网关;同时参考其可执行验证数据集构建内部评测。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)