多模态AI代理越来越依赖持久性长期记忆来在视觉和文本上下文中进行生成。本文揭示了对视觉数据的无条件信任是一个关键安全漏洞。作者提出了Lucid,一个黑盒对抗性框架,在严格的图像受限威胁模型下攻击多模态记忆管道,无需访问目标多模态大模型(MLLM)、目标检索编码器或文本通道。Lucid通过构建人眼不可察觉的扰动,实现了两种不同的故障模式:1)记忆投毒(in-context攻击):用对抗图像替换被先前文本上下文强化内容的良性图像,可靠地破坏视觉回忆,将代理引导至攻击者选择的叙事;2)记忆注入(out-of-context攻击):在缺乏先前文本基础的对话轮次中替换良性图像,导致代理生成受攻击者影响的回应,且无来自记忆的纠正信号。实验在多种对话领域和五种黑盒记忆架构(包括图结构化、LLM总结型以及商业部署系统)上进行,Lucid在投毒攻击上达到61.6%的攻击成功率(ASR),在注入攻击上达到58.4%的ASR,暴露了多模态记忆管道中的结构性脆弱点。本研究适合AI安全研究员、多模态系统开发者及防御者阅读。
💡 推荐理由: 首次系统性地证明多模态AI代理长期记忆中的视觉通道可被黑盒操纵,导致代理输出被攻击者控制的内容。这对依赖视觉上下文的企业级AI助手的可信度构成实质性威胁。
🎯 建议动作: 研究跟进