When Can Agents Safely Checkpoint, Fork, Restore, and Merge? Exact Checking for Execution Edits
本文研究智能体(Agent)运行时环境中一种被称为“执行编辑”(execution edits)的操作安全性问题。执行编辑包括 Checkpoint(记录当前执行状态)、Fork(分支)、Restore(恢复某个检查点)和 Merge(合并
共收录 3 条相关情报。
← 返回所有主题本文研究智能体(Agent)运行时环境中一种被称为“执行编辑”(execution edits)的操作安全性问题。执行编辑包括 Checkpoint(记录当前执行状态)、Fork(分支)、Restore(恢复某个检查点)和 Merge(合并
该论文对当前人工智能安全的主流范式提出结构性批评,认为仅靠训练阶段的对齐方法(如RLHF、DPO、Constitutional AI)无法充分保障自主智能体的安全。作者主张,智能体安全应被设计为一种由执行环境(harness)强制实施的“运
该论文研究使用工具(tool-using)的智能体在运行时安全领域的可执行性(enforceability)理论。现有运行时防护栏(runtime guardrails)在不可逆的工具调用前进行干预,但它们的保证取决于可表示的策略状态、裁判