Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
该论文研究递归自我改进(RSI)场景下智能体(agent)的安全性问题:当 LLM 编辑器跨代际持续优化可执行的智能体组件时,如何既阻止不安全行为在后续版本中延续,又能在失败发生后实现恢复。作者构建了一个受控测试台,使用有状态的授权(aut
共收录 2 条相关情报。
← 返回所有主题该论文研究递归自我改进(RSI)场景下智能体(agent)的安全性问题:当 LLM 编辑器跨代际持续优化可执行的智能体组件时,如何既阻止不安全行为在后续版本中延续,又能在失败发生后实现恢复。作者构建了一个受控测试台,使用有状态的授权(aut
LLM 智能体正被用于漏洞发现、漏洞复现与补丁生成等安全任务,但在模型层面提升其能力通常依赖专家演示或可计算奖励,而安全任务恰恰很少具备这两点:执行轨迹昂贵、失败原因难以诊断、奖励稀疏且难以自动判定。因此研究重心转向执行框架(harness