本论文研究大型语言模型中精确删除用户数据记录的问题。在具有循环记忆或混合架构(如线性注意力模型)中,数据记录被折叠进模型状态,用户请求删除时,模型的状态必须与从未存储该记录的状态一致才算完全遗忘。独立编码的行可以轻松移除,但循环记忆中的记录难以消除。一种有希望的方法是“收据”方法——保存记录到达时造成的状态差异,并在之后的更新中持续携带,最后从状态中减去。然而,作者通过理论分析和实验证明,这种运输收据只有在记录在后续更新中引起的改变恰好相互抵消时才能实现精确省略。作者在释放的48B Kimi线性混合模型上进行了大规模实验,发现现实并非如此:即便经过4096个额外token,记录仍留下约4.5%的状态范数印记,且测试的所有收据类别都无法去除该印记。重新计算一半后续token也只能缩小不到一半的差距,而收据所需的按token日志在88个token后开销就超过完整检查点。作者还在Mamba-2、Falcon-H1和RWKV-7等多种架构上验证了相同的写规则分类,并在运行前记录预测。相比之下,从记录之前恢复检查点并重放后续token可以精确达到从未存储的状态,在所有检查的数组上都吻合。此外,在混合后缀扫描中,掩盖记录对应的注意力行能够使采样恢复接近从未存储的基线,尽管循环印记仍然存在,审计人员重建参考状态时仍能检测出残留。最终,作者认为在评估的方法中,检查点重放是唯一能实现精确省略的方法,但其代价与重放的后缀长度成比例。该研究对LLM遗忘机制的可行性提出了重要见解,并为合规删除提供了可靠性与成本权衡的依据。
💡 推荐理由: 在数据隐私法规要求下,LLM服务商必须能真正删除用户记录。本研究揭示了看似可行的“收据”方法在真实模型中无法实现精确遗忘,而检查点重放虽然有效却成本高昂,直接影响AI系统删除功能的实现与审计。
🎯 建议动作: 研究跟进