#memory-systems

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Yi Ting Shen, Kentaroh Toyoda, Alex Leung

长时运行的基于语言模型的智能体依赖于持久记忆来跨轮次保持上下文。许多智能体内存系统采用软撤销机制处理矛盾信息:当某个事实被新事实取代时,旧事实被标记为“已撤销”但仍保留在存储中,而非物理删除。然而,这种撤销标记在检索阶段是否真正被强制执行,此前缺乏系统性验证。本文对五个代表性智能体内存系统进行了实证测量:将每条记录以“被撤销的策略及其替代策略”的形式载入系统,随后在九种策略场景和九种不同语言模型下进行检索与决策测试,观察被撤销的事实是否会随检索被返回、智能体是否会据此采取行动,并在六种防御条件下对结果进行评分。实验发现,所有被测系统在默认情况下均未强制执行撤销语义:只要撤销标签对检索层可见,被撤销的事实就会与替代事实一同返回,甚至在排序中胜出,导致智能体采纳了已被撤销的不安全策略。基于该发现,作者开发了一个独立的防护组件,置于智能体与其任意内存后端之间,在检索结果返回给智能体之前拦截并抑制任何已被撤销或与当前有效替代记录冲突的内容。该研究揭示了大语言模型智能体内存一致性方面的系统性缺陷,为构建安全的长期记忆机制提供了重要实证依据和可落地的缓解方案。

💡 推荐理由: 该研究揭示智能体内存系统中的软撤销机制在检索时普遍失效,导致智能体可能依据已被撤销的旧策略或旧事实行动,造成安全与合规风险,对依赖长期记忆的LLM应用落地至关重要。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Haobo Zhang, Xutao Mao, Guangyuan Dong, Ziwei Li, Xuanbo Su, Kaijie Chen, Jing Yang, Zheng Lin

该论文提出了一种名为 MemMark 的状态演化归因水印方法,旨在解决基于大语言模型(LLM)的智能体长期记忆系统中的归因问题。在传统的记忆系统中,智能体的行为通常通过日志、可见输出或受信任的元数据进行追踪。然而,当记忆快照被泄露或迁移时,这些证据可能丢失,导致无法追溯所有权或检测篡改。MemMark 通过将所有者控制的信号嵌入到潜在的记忆写入决策中来实现归因。具体而言,在每次内部 LLM 调用时,MemMark 使用密钥控制且分布保持的选择方法从可接受的候选中采样,并记录加密承诺,同时附带签名的会话锚点和揭示证据。这使得归因依赖于可重复的后端行为,而不是可变的元数据。实验在 LoCoMo 数据集上使用 A-Mem 和 Graphiti 两种记忆系统以及三种 LLM 骨干网络进行。结果表明,MemMark 几乎不损害记忆实用性:总体 F1 分数保持未加水印基线的 99.6%,BLEU-1 变化仅为 +0.2%。此外,该方法具有可用的载体容量,对于更新目标、链接目标和语义实现决策的平均熵分别为 1.16、1.14 和 1.26 比特。在仅快照的 R3 设置中,MemMark 能够从最终快照中恢复完整的 40 比特负载,而错误密钥的验证接近随机。在九种记忆生命周期攻击下,验证能够区分篡改、证据删除和部分负载恢复。这些结果表明,无需保留痕迹、受信任元数据或降低实用性,鲁棒的仅快照归因对于长期智能体记忆是可行的。该论文适合关注 AI 安全、智能体安全、水印技术和密码学的读者。

💡 推荐理由: 随着 LLM 驱动的智能体被广泛用于处理敏感信息,其长期记忆系统的安全性变得至关重要。MemMark 提供了一种即使在快照泄露或迁移后也能追溯所有权的机制,有助于保护知识产权、防止恶意行为并增强审计能力。

🎯 建议动作: 研究跟进,评估将 MemMark 集成到内部智能体记忆系统的可行性。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)