#retraining-attack

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Jiaqing Li, Shide Zhou, Zhibo Zhang, Yuxi Li, Tianlong Yu, Kailong Wang

本论文关注大语言模型(LLM)安全对齐中的机器遗忘(machine unlearning)机制。移除模型中的危险知识、实现安全对齐通常依赖遗忘技术,但近期研究揭示了一个持续存在的安全风险:被「遗忘」的模型在面对再训练攻击(retraining attacks)时依然高度脆弱——只要经过一次良性微调,原本被抑制的恶意行为就会迅速重新浮现。作者深入分析了遗忘过程的优化动力学,指出这一脆弱性的根源在于「浅层对齐」(shallow alignment):模型并没有真正擦除目标知识,而是走了捷径,把此前处于休眠状态的参数激活起来充当「虚假抑制器」(spurious suppressors),从而在完好无损的恶意表征之上搭建出一层脆弱的抑制外壳。换言之,危险能力仍然存在于模型内部,只是被表面性地遮盖,因此极易在后续训练中被重新释放。为解决这一问题、实现真正的记忆删除,作者提出 FDCU——一种新的双约束子空间投影框架。FDCU 通过可高度扩展的逐元素双重掩码(element-wise dual-masking)规则来约束参数更新:一方面利用 Fisher 信息(Fisher Information)保留通用知识流形,避免遗忘过程破坏模型正常能力;另一方面依据「最小功能干预原则」(Principle of Minimal Functional Intervention, PMFI)严格禁止虚假抑制器的异常激活。通过可靠地阻断模型「表面上把知识藏起来」的能力,FDCU 促使模型真正拆解目标表征。作者在特定知识擦除与安全输出控制两类任务上开展了大量实验,结果表明 FDCU 在对抗再训练攻击的鲁棒性上达到当前最优水平,同时保持近乎无损的通用效用,为 LLM 提供持久的安全保障。该工作适合关注模型对齐、遗忘技术、微调安全与 AI 安全评估的研究者与安全工程师阅读。

💡 推荐理由: 它揭示了主流「遗忘式」安全对齐存在可逆性缺陷:危险能力可能只是被临时掩盖而非删除,一次良性微调即可复现。这直接影响模型发布与微调服务的安全评估假设,并给出可落地的防复现优化思路。

🎯 建议动作: 研究跟进,并纳入内部模型对齐/遗忘流程的评估参考

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)