Memory Provenance Laundering in LLM Agents: A Non-Amplification Firewall for Persistent Memory
本文研究大型语言模型(LLM)智能体的长期记忆机制引入的新安全风险:记忆来源清洗(memory provenance laundering)。在LLM智能体中,长期记忆允许智能体重用之前的偏好和工作流程,但同时也将不可信的观测内容转化为持久
共收录 2 条相关情报。
← 返回所有主题本文研究大型语言模型(LLM)智能体的长期记忆机制引入的新安全风险:记忆来源清洗(memory provenance laundering)。在LLM智能体中,长期记忆允许智能体重用之前的偏好和工作流程,但同时也将不可信的观测内容转化为持久
本文提出了一种名为Membrane的自我演化防护栏,用于增强大型语言模型(LLM)智能体防御不断演化的越狱攻击。当前的安全对齐方法难以适应新型攻击,而基于微调的安全分类器无法实时更新,基于记忆的防护栏又容易对良性查询过度拒绝。Membran