#computer-use-agent

共收录 2 条相关安全情报。

← 返回所有主题
推荐 5.6
Conf: 50%
👥 作者: Giulio Zingrillo, Hanna Foerster, Ilia Shumailov, Yiren Zhao, Robert Mullins

该论文研究的是计算机使用代理(Computer-Use Agents, CUA)在图形界面环境下面临的一类新型间接提示注入风险——分支引导攻击(branch steering attack),并提出相应的防御架构 COBRA。背景方面:现代 CUA 需要直接操作图形用户界面(GUI)并调用第三方 Web 工具,因此每一条渲染页面、每一个工具返回结果都可能成为不可信输入的注入通道。系统级防御的主流方案是「双 LLM 模式」(Dual-LLM pattern):用一个隔离的规划器 LLM(P-LLM)在处理任何不可信输入之前就固定好执行路径,再由被隔离的 Q-LLM 去接触不可信数据,从而获得形式化的安全保证。论文指出,这一保证在图形化环境中会失效:由于 CUA 的交互本质上是动态的,规划不可能保持与数据无关;计划必须根据运行时可能出现的网页内容进行分叉,以覆盖代理可能遇到的所有情形。这就产生了新的攻击面——攻击者不需要显式注入指令,只需精心构造不可信数据,就能把代理「引导」到某条已被预批准、但对当前上下文而言具有危害性的分支上。作者系统性地研究了这一攻击类别,并构建了 STEER-Bench 基准(覆盖 9 个领域、共 101 个任务),实验显示标准 CUA 的攻击成功率达 94.4%,而朴素 Dual-LLM 架构仍有 89.5% 的攻击成功率,说明仅靠「先规划后隔离」并不足以抵御分支层面的操纵。针对该问题,论文提出 COBRA 架构:将可信的分支计划与「事前能力约束」(ahead-of-time capability constraints)相结合,对每个分支可执行的参数取值范围与目标地址/目的地做出严格界定,使分支即使被触发也无法越界执行危险动作。在 STEER-Bench 上,COBRA 将攻击成功率降至 0%,同时保持 97% 的正常任务效用,表明安全性与可用性可以同时兼顾。该工作适合从事 LLM 代理安全、代理架构设计、GUI 自动化与 AI 红队评测的研究者和工程师阅读。

💡 推荐理由: CUA/浏览器代理正被企业快速引入,而 Dual-LLM 等「形式化安全」架构被广泛视为可靠防线。本文证明该防线在图形化动态环境中存在系统性缺口,并给出可落地、几乎不损失效用的加固思路,对代理安全架构选型与评测基线建设有直接参考价值。

🎯 建议动作: 研究跟进:精读论文并评估将 STEER-Bench 引入内部代理安全评测基线,同时试点 COBRA 式事前能力约束改造现有代理架构

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Haokai Ma, Chieh Lin, Yupeng Qiu, Ee-Chien Chang

该论文研究的是 OpenClaw 类「计算机使用型智能体(CUA)」中长期工作区记忆(persistent workspace memory)带来的新型攻击面。这类智能体把用户指令、系统摘要和来自外部的内容统一以自动重载文件的形式持久化保存,所有内容处于同一权限等级;问题在于「被记住的内容即获得权威」——一旦某条外部声明被写入记忆,它在后续任务中就天然具备指导行为的权力。作者据此提出「持久记忆攻击」(persistent memory attack):攻击者只需控制看似无害的外部内容(如网页、文档、工具返回值),在用户执行一次正常任务的过程中诱导 CUA 把有利于攻击者的声明写入记忆,此后这些声明便会在攻击者完全接触不到的另一些正常任务中支配智能体行为。攻击链由此从传统的「恶意上下文 → 恶意响应」升级为「恶意上下文 → 记忆注入 → 恶意执行」,形成跨环境(跨会话、跨任务、跨域)威胁。作者指出既有防御要么在内容进入记忆之前拦截,要么在最终动作处拦截,均未解决「已存储的内容是否有资格指导行动」这一核心问题。为此提出 ZoneClaw:将「持久性」与「权威性」解耦,用带显式权威等级的分层信任区(hierarchical trust zones)取代扁平工作区记忆。外部声明只能持久化在低信任区,只有跨越显式权威边界才能获得指导行动的权限,而跨边界提升(promotion)必须与攻击者无法直接写入的高信任区进行交叉校验。该边界由角色分离、权限不对称的多个进程强制执行,保证不存在任何既摄入外部内容又对外执行动作的单一进程。实验覆盖 4 种攻击场景、2 种注入设置和 4 个骨干模型:攻击成功率从 372/480 降至 6/480,同时在 458/480 次试验中保持任务效用,并且对部分「防御感知型」攻击者依然有效。值得注意的是,攻击者声明仍会保留在低信任记忆中,只是极少越过权威边界,说明 ZoneClaw 是「扣留权威」而非「拒绝从环境中学习」。代码已开源于 GitHub。

💡 推荐理由: 智能体持久记忆把「记住」变成「授权」,使一次无害任务中的外部内容可在后续无关任务中持续生效,传统按单次会话或单次动作布防的思路会失效。ZoneClaw 的信任分区 + 进程角色分离思路,为企业落地 CUA 提供了可迁移的记忆治理与权限边界设计参考。

🎯 建议动作: 研究跟进:建议安全团队精读论文与其开源实现,并将记忆分区与权威边界纳入内部 CUA 安全评估清单与红队测试用例。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)