该论文研究开放权重大模型时代的一个关键安全问题:模型编辑(model editing)与机器遗忘(machine unlearning)被广泛用于在不重新训练的前提下修改或删除模型中的特定知识,以支撑合规删除(如被遗忘权)和有害内容抑制。但作者指出,下游用户既然能掌控完整推理栈(包括分词器与推理引擎),发布方对“知识已被修改或删除”的保证就可能失效。现有针对这些技术安全性的评估存在两个明显短板:其一是通常需要拿到编辑前的原始模型,或依赖辅助分类器、影子模型来检测改动、重建原行为,现实攻击者往往不具备这些条件;其二是评估几乎都在输入的“规范分词”下进行,隐含地把分词当作无害的预处理步骤。论文指出这一假设构成了安全缺口:同一个输入字符串可以对应多种合法分词,而不同分词会引导模型走上不同的计算轨迹,攻击者因此能够绕过被局部修改的参数区域,把本应被抑制的信息重新取回。为此作者提出 Toketive——一种简单但有效的无参考(reference-free)攻击方法,仅依赖已发布的模型本身,不需要编辑前模型、训练数据、影子模型或辅助分类器,可同时完成两件事:检测某条知识是否已被修改,以及重建编辑前的原始响应。实验覆盖 5 个 LLM、6 个数据集和 6 种编辑/遗忘技术,结果显示 38.6% 的替代分词能够绕过修改并成功恢复编辑前响应;Toketive 检测被修改事实的 F1 达到 84.2%,相对最强基线提升 26.2%;重建编辑前响应的 top-5 准确率为 74.5%,比最佳基线高 21.7%。论文的核心结论是:局部参数修改不应被当作稳健的知识控制边界,除非在多种替代表示(分词)下做过对抗性评估;分词层面的侧信道应被视为模型发布后安全保证的一部分。
💡 推荐理由: 它揭示了模型编辑与机器遗忘的一个系统性盲区:分词层的合法多样性即可成为绕过知识删除的侧信道,且攻击者只需拿到发布模型即可实施。对依赖“删知识”来满足合规与安全承诺的团队,这意味着现有保证可能被高估。
🎯 建议动作: 研究跟进,并将分词变体一致性测试纳入内部模型编辑/遗忘评估流程