本文研究智能体(Agent)运行时环境中一种被称为“执行编辑”(execution edits)的操作安全性问题。执行编辑包括 Checkpoint(记录当前执行状态)、Fork(分支)、Restore(恢复某个检查点)和 Merge(合并分支),这些操作允许在不重启任务的情况下改变智能体的后续执行路径。然而,执行编辑无法撤销先前的授权或已经发出的工具请求,因此不安全的编辑可能导致同一工具动作被重复授权、丢弃任务仍需要的结果,或与编辑前已开始的调用产生冲突。由于智能体本身不可信,运行时必须依据其执行记录来确定每次编辑需要兼顾哪些过去的动作、必须保留哪些关键结果,才能确保后续执行安全。现有智能体系统却并未从实际运行中推导出每次编辑必须保留的内容,而是将这一需求作为输入条件,导致安全性缺乏严格保障。本文提出了一种算法,能够精确判定一次编辑是否安全,并返回所有安全的继续执行方式,或者证明不存在安全方式。该算法枚举任务在不违反策略的前提下可能完成的所有路径,移除那些可能导致后续无法完成关键结果的路径,若剩余路径为空则返回可验证的证明,表明不存在安全实现;否则,剩余路径精确描述了运行时可以允许的行为。形式化结果覆盖了 Checkpoint 以及 Fork、Restore、Merge 的六种形式,并扩展到原子强制实施以及精确检查器所需的信息。研究使用 Lean 定理证明器对有限检查器和运行时不变式进行了机械化验证,并通过测试验证了所有六种编辑形式。源代码、Lean 证明和可执行测试均公开在 GitHub 仓库中。该工作为智能体运行时的安全控制提供了理论基础和可验证的实现方法,适合系统安全、形式化验证和智能体架构研究者阅读。
💡 推荐理由: 智能体运行时引入执行编辑能力带来新的安全风险,本工作首次从执行记录出发精确推导编辑安全条件,为构建可验证的智能体安全控制机制提供了基础方法,对防御方设计安全的智能体编排系统具有重要参考价值。
🎯 建议动作: 研究跟进