SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents
该论文关注自演化 LLM 智能体(self-evolving LLM agents)带来的内生性失配(endogenous misalignment)风险。这类智能体在部署后能够根据用户与环境反馈修改自身"装备"(harness),包括控制
共收录 2 条相关情报。
← 返回所有主题该论文关注自演化 LLM 智能体(self-evolving LLM agents)带来的内生性失配(endogenous misalignment)风险。这类智能体在部署后能够根据用户与环境反馈修改自身"装备"(harness),包括控制
本文提出了一种针对自进化智能体(self-evolving agents)的新型攻击方法 SkillJack。自进化智能体会将交互历史转化为可复用的技能(skills),这些技能可以跨任务持久保存。以往研究关注的是记忆与检索投毒,但此类攻击