Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
该论文研究递归自我改进(RSI)场景下智能体(agent)的安全性问题:当 LLM 编辑器跨代际持续优化可执行的智能体组件时,如何既阻止不安全行为在后续版本中延续,又能在失败发生后实现恢复。作者构建了一个受控测试台,使用有状态的授权(aut
共收录 3 条相关情报。
← 返回所有主题该论文研究递归自我改进(RSI)场景下智能体(agent)的安全性问题:当 LLM 编辑器跨代际持续优化可执行的智能体组件时,如何既阻止不安全行为在后续版本中延续,又能在失败发生后实现恢复。作者构建了一个受控测试台,使用有状态的授权(aut
该论文针对 LLM 智能体在执行复杂任务时不断修改文件、调用本地工具并与远程服务交互,从而在本地环境与远程服务两侧产生大量状态变更的问题。当前智能体框架缺少统一抽象,用户与智能体只能显式管理这些变更,无论是回退探索性操作还是从错误动作中恢复
本文首次系统性地研究了AI智能体系统中的检查点与回滚(Checkpoint and Rollback, C/R)机制的安全隐患。随着AI智能体向持久化、有状态执行方向发展,其执行状态和外部副作用在故障后难以重建,C/R成为关键恢复手段。然而