Representation Transitions Reveal Emerging Safety Risks in Multi-Turn LLM Agents
该论文研究多轮(multi-turn)交互场景下 LLM 智能体(agentic system)的安全风险。作者指出的核心问题是:现有防御往往孤立地评估单次动作或单个状态,而攻击者可以将多个单独看都合规的操作逐步组合,最终产生有害结果,这类
共收录 3 条相关情报。
← 返回所有主题该论文研究多轮(multi-turn)交互场景下 LLM 智能体(agentic system)的安全风险。作者指出的核心问题是:现有防御往往孤立地评估单次动作或单个状态,而攻击者可以将多个单独看都合规的操作逐步组合,最终产生有害结果,这类
LLM 攻击涵盖提示优化、多轮上下文操纵、检索投毒和模型后门等多种机制,但现有白盒防御通常仅在孤立的攻击家族上评估,因此异构攻击是否会在内部表示中留下可泛化的位移信号仍属未知。本文提出 MechAudit-40,一个系统性的评估框架,在 5
该论文研究了针对大型语言模型(LLM)的越狱提示(jailbreak prompts)在经过字符串级别扰动(如插入字符、同义词替换等)后,如何从失败变为成功的背后机制。作者聚焦于小型开源模型系列(Qwen-2.5-1.5B/3B/7B-In