#memory-attack

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Om Narayan, Ramkinker Singh, Praveen Baskar

随着人工智能从无状态生成模型向有状态自主Agent的架构演进,长期规划与企业工作流自动化能力得以提升,但同时也引入了新的安全威胁——Chronos漏洞。该漏洞是一类基于记忆的攻击(包括记忆注入攻击MINJA和休眠代理攻击)的统称,攻击者通过破坏Agent的内部信念系统,使攻击向量与最终灾难事件解耦,从而绕过传统端点内容过滤器。本研究基于World of Workflows基准测试,形式化定义了持久化攻击威胁模型及“动态盲点”概念,证明现有安全措施在状态化架构下失效。论文综合提出了一种纵深防御体系,分类概述了新兴防御框架:诊断轨迹护栏(AgentDoG)、形式化时间验证(Agent-C)、免疫记忆共识(A-MemGuard)以及基于GPU的可信执行环境(TEE)与零信任内存架构的硬件锚定信任。该研究为Agent AI的安全性提供了系统性的威胁分类与防御方向,适合AI安全研究员、Agent架构师及安全运营工程师阅读。

💡 推荐理由: 首次系统化定义了Agent AI中基于记忆的持久化攻击威胁,揭示了传统安全机制面对有状态Agent的盲区,为设计和部署自主Agent系统提供了关键的安全指导。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jalen Chuang, Alexander Seto, Nicolás Berrios, Stephan van Schaik, Christina Garman, Daniel Genkin

本文提出了一种针对可信执行环境(TEE)的新型物理攻击方法,称为TEE.Fail。攻击者通过在DDR5内存总线上进行中间人拦截(Memory Bus Interposition),能够在TEE(如Intel SGX、AMD SEV等)的保护下窃取敏感数据或注入恶意数据。研究团队设计并实现了一个基于FPGA的硬件探测平台,该平台可以无干扰地插入到DDR5内存通道中,实时监控和修改内存流量。实验在真实硬件(包括Intel和AMD的最新处理器)上验证了攻击的有效性:攻击者可以绕过TEE的内存加密和完整性保护,读取CPU与内存之间传输的明文数据(如加密密钥、机密计算负载)。论文还讨论了防御措施,包括更严格的物理安全、内存总线加密以及完整性校验机制。该工作揭示了即使是最新一代DDR5内存标准也无法完全抵御物理层攻击,对依赖TEE的云服务、机密计算场景构成严重威胁。

💡 推荐理由: 首次展示针对DDR5内存总线的物理层攻击能完全绕过TEE保护,打破了对最新一代内存安全的信任,倒逼硬件厂商重新评估物理安全设计。

🎯 建议动作: 研究跟进:评估自身TEE部署的物理安全措施,关注厂商关于DDR5内存总线防护的更新。

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Neeraj Karamchandani, Piyush Nagasubramaniam, Sencun Zhu, Dinghao Wu

本文提出了一种针对大型语言模型(LLM)智能体持久记忆的新型攻击方法——伪造放大推理记忆攻击(FARMA)。传统的记忆中毒攻击主要污染事实性知识,而FARMA则针对智能体的推理历史进行注入。攻击者通过插入含有规避性语言的伪造推理痕迹,绕过基于关键词的防御;再利用自我引用强化机制,使多条伪造条目相互印证,从而击败基于共识的防御。为应对FARMA,作者提出了SENTINEL分层防御管道,其核心组件是推理守卫,通过五种加权信号对候选条目进行结构性分析以检测伪造。实验在多个智能体和不同LLM模型上进行,50次试验表明:FARMA在基线条件下攻击成功率高达100%,并能绕过关键词过滤器和A-MemGuard等现有防御;而SENTINEL可将攻击成功率降至0%,且在326条良性智能体跟踪记录中未出现误报。研究揭示了保护智能体推理历史完整性的迫切需求。

💡 推荐理由: 首次揭示LLM智能体记忆攻击的新维度——攻击推理历史而非事实知识,且现有防御在多轮自我强化下失效,推动安全社区关注记忆完整性防护。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zixin Rao, Wentian Zhu, Chan Aristella Lu, Zhaorun Chen, Wei Niu, Le Guan, Bo Li, Zhen Xiang

该论文提出了一种针对大语言模型(LLM)智能体的新型攻击方法FragFuse,揭示了长期记忆机制引入的安全漏洞。LLM智能体日益依赖长期记忆来支持复杂任务执行、用户个性化与领域适配,同时研究者也开始探索访问控制机制以阻止违反策略的请求。然而,论文发现攻击者可以利用记忆操作的时间通道:将触发访问控制拦截的禁止内容拆分成多个片段,以无害形式分别存入长期记忆,然后在后续查询中通过记忆检索重组这些片段,从而绕过访问控制。FragFuse攻击包含三个阶段:第一阶段,通过黑盒自适应查询与片段掩码技术识别出哪些内容片段会触发拒绝响应;第二阶段,使用标记载体查询将这些片段注入长期记忆;第三阶段,通过后续攻击查询检索并融合存储的片段。为了避免针对每个智能体手动构造攻击,论文进一步提出了基于代理的优化方案,自动调优融合指令和标记设计,且不违反攻击者的威胁模型假设。在四种代表性智能体设置和任务域上,针对三种最先进的访问控制机制进行评估,FragFuse实现了平均86.3%的绕过成功率和41.1%的端到端有害任务成功率,仅比无访问控制时平均任务成功率下降4.4%。此外,现有的提示注入检测器和困惑度检测器等防御手段均无法有效应对该攻击。该研究适合LLM安全研究人员、智能体应用开发者以及访问控制设计者阅读。

💡 推荐理由: 该工作首次揭示LLM智能体长期记忆机制可被利用绕过访问控制,攻击成功率极高且现有防御无效,对依赖记忆的Agent应用构成实际威胁。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yv Zhang, Hao Sun, Hao Fang, Kuofeng Gao, Fan Mo, Bin Chen, Shu-Tao Xia, Yaowei Wang

本文研究了多模态Web智能体(Web Agent)中外部记忆组件(External Memory)的安全漏洞。现代Web智能体通常依赖外部记忆来存储长期经验,通过检索历史记录实现长程推理。然而,这种架构引入了一个关键风险:恶意内容若被注入记忆,可能在后续交互中被持续召回并反复影响智能体行为。作者系统性地识别并研究了多模态记忆投毒(Multimodal Memory Poisoning)这一此前被忽视的攻击面,并提出了一个统一的黑盒攻击框架MemVenom。该框架针对图结构的外部记忆,利用文本-图像协同证据进行投毒。其设计包含两个阶段:第一阶段是触发器条件检索攻击(Trigger-conditioned Retrieval Attack),确保恶意记忆以高概率被召回;第二阶段是检索后诱导攻击(Post-retrieval Attack Induction),通过对抗性扰动和隐蔽OCR注入覆盖用户原始目标。与以往基于提示或纯文本记忆的攻击不同,MemVenom无需修改模型参数或重新优化恶意任务,即可实现持久、可复用且目标无关的攻击。在多种Web智能体框架和视觉语言模型上的实验表明,MemVenom在GPT-5系列Web智能体上达到最高99.15%的成功率,且对良性性能影响极小,并在不同架构和模型规模间具有良好的迁移性。

💡 推荐理由: 首次系统性地揭示了多模态Web智能体外部记忆组件中的投毒攻击面,对依赖记忆的AI系统安全具有重要警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 5.5
Conf: 50%
👥 作者: Mahavir Dabas, Jihyun Jeong, Ming Jin, Ruoxi Jia

该论文研究了现代LLM代理系统中长期记忆与工具调用接口结合时出现的一种新故障模式:存储在记忆中的个性驱动偏见(如成本意识、不耐烦、风险承受能力等)会在不相关的情境中悄然影响工具调用,作者称之为“记忆诱导的工具漂移”。为了系统化研究这一现象,他们通过自动化对抗性流水线生成了覆盖五个偏见维度和七个专业领域的105个场景的基准测试集MEMDRIFT。在七个前沿模型(包括具有扩展推理能力的模型)上,有偏见的记忆将偏转分数(一种评分者评估的参数偏离无偏见基线的度量)在1-5分制下最高提高了+3.6分。工具漂移在三种生产级记忆架构中持续存在。该现象影响真实工具:扫描288个经过验证的MCP服务器中的6062个工具,标记了608个易受影响参数,并在验证子集上确认了工具漂移。机制上,有偏见的记忆充当隐式引导向量,沿着与显式行为指令相同的潜在方向推动激活,并将注意力从任务相关上下文重新分配到与目标参数具有表层关键词重叠的记忆条目。标准防御(基于提示的相关性指令和记忆过滤器)可减少漂移但无法消除。随着代理代表用户采取越来越重要的行动,记忆诱导的工具漂移构成了当前安全措施未能解决的系统性漏洞,需要在记忆管理和工具调用生成的交叉点进行专门防御。

💡 推荐理由: LLM代理在生产中结合记忆与工具调用,该研究揭示了一种隐蔽的、利用记忆的对抗攻击面,可能导致代理执行非预期工具操作,威胁用户隐私和系统安全。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)