#model-customization

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Jianhong Li, Jiahao Chen, Yuwen Pu, Chunyi Zhou, Oubo Ma, Zhou Feng, Hangtao Zhang, Jichao Bi, Chunqiang Hu

该论文研究的是大模型微调过程中的隐私风险复发问题。已有研究表明,在下游微调之后,模型可能重新暴露出经过对齐或遗忘处理后已无法通过直接查询获取的私有信息(即“微调恢复攻击”)。然而,此前的方法大多依赖一个不现实的假设:攻击者能够获得与原始训练数据同分布的真实私有标注数据作为监督信号。本文质疑这一前提,并提出:即使没有此类真实私有监督,恢复依然是可行的。作者提出的 ReGap 是一种“无数据”(data-free)的恢复方法,它只利用任务结构本身来构造监督信号:由 LLM 自行生成候选答案,再依据答案 token 的似然度对候选进行筛选,最后通过低秩适配(LoRA)方式对目标模型进行更新,从而把此前习得但被压制的私有关联重新“唤醒”。ReGap 既不需要目标答案,也不需要任何真实的私有辅助监督,因此大幅降低了攻击的现实门槛。实验覆盖六种模型(GPT-2、OPT、Qwen3 系列),结果显示:相对于微调后的目标模型,ReGap 将目标关联的恢复率提高了 6 到 21 个百分点;即便适配过程中使用的身份与所有被记忆和用于评估的身份完全不相交,且生成或筛选出的监督中不含任何精确的目标答案,恢复效果依然显著。作者进一步做了对照实验:同一个训练出的适配器将某个此前已被暴露过的检查点上的恢复率从 42% 提升到 63%,但在一个从未接触过这些目标、条件匹配的检查点上却不产生任何增益。这一对比说明,单纯的低秩适配不足以解释所观察到的恢复现象,模型此前是否接触过目标内容会强烈影响其被微调后的可恢复性。论文的结论是:常规的模型定制化流程本身就可能导致潜在隐私风险的再度激活,学术界与工业界应给予紧迫关注。

💡 推荐理由: 它把“微调会重新暴露被遗忘的隐私数据”这一威胁的门槛从“需要真实私有训练数据”降到“只需任务结构和模型自生成候选”,使常规下游定制流程本身成为隐私复发触发器。凡是对外提供微调/适配服务的团队都应重新评估其风险模型。

🎯 建议动作: 研究跟进,并纳入内部模型发布与微调服务的隐私评估清单

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)