这篇论文关注视觉-语言模型(VLM)中的隐私删除问题,指出现有研究与评测体系存在一个关键盲区。作者认为,从 VLM 中抹除某个具体个人的身份信息,远比抹除单条属性困难,因为个人数据并非以孤立字段形式存储,而是跨图像、文本等多种模态相互纠缠、互为索引。然而现有的多模态遗忘(unlearning)基准大多只做"属性中心"的评测,即检查模型是否还能说出某人的年龄、职业、住址等单项属性,却忽略了更关键的目标——个体级遗忘(individual-level unlearning):让模型失去跨模态访问、关联并重建目标个体信息的能力。为填补这一空白,作者提出 IDUnlearn-Bench,声称是首个面向 VLM 的个体级多模态遗忘基准。该方法将每个个体表示为一组相互连接的多模态证据,并据此设计四个任务族来分层考察遗忘效果:属性访问(能否读出该人的具体属性)、身份访问(能否直接识别出该人)、身份绑定(能否把不同来源的记录关联到同一人)以及身份重建(能否依据模型内部知识复原该个体的画像)。作者在具有代表性的 VLM 与多种遗忘方法上进行了实验,得到两点重要发现:第一,属性中心遗忘即使表面上"成功",模型中仍可能大量残留身份级知识,即删掉了零散事实却没有删掉这个人;第二,遗忘效果可能是非单调的,压制某一类风险反而会放大另一类风险,例如某些信息被抑制后模型仍能识别目标、仍能将多条记录链接到同一人,甚至仍可重建该个体。论文由此揭示出一个根本性差距:"忘记关于某人的信息"并不等于"忘记这个人整体"。其核心贡献在于提出个体级多模态遗忘的问题定义、可操作的评测框架与四个任务族,并用实证说明现有遗忘方法的评测结论存在系统性乐观偏差,适合从事模型遗忘、多模态隐私、数据合规与模型治理的研究者和工程师阅读。
💡 推荐理由: 它说明当前多模态遗忘评测可能给出虚假的安全感:属性级删除指标达标,不代表个体身份真的从模型中被移除。对需要响应数据删除请求、做隐私合规审计或发布 VLM 的团队,这直接关系到删除是否可验证、可辩护。
🎯 建议动作: 研究跟进;建议将个体级多模态遗忘评测纳入内部 VLM 隐私删除流程的评估基线