Exact Record Omission in Delta Attention: A Transport Criterion, Its Cost, and a Replay Certificate
本论文研究大型语言模型中精确删除用户数据记录的问题。在具有循环记忆或混合架构(如线性注意力模型)中,数据记录被折叠进模型状态,用户请求删除时,模型的状态必须与从未存储该记录的状态一致才算完全遗忘。独立编码的行可以轻松移除,但循环记忆中的记录
共收录 1 条相关情报。
← 返回所有主题本论文研究大型语言模型中精确删除用户数据记录的问题。在具有循环记忆或混合架构(如线性注意力模型)中,数据记录被折叠进模型状态,用户请求删除时,模型的状态必须与从未存储该记录的状态一致才算完全遗忘。独立编码的行可以轻松移除,但循环记忆中的记录