本文针对差分隐私(DP)图像合成领域日益凸显的评估协议不一致、甚至存在缺陷的问题,提出了一个统一基准平台 DPImageBench。研究背景是:DP 图像合成旨在生成既能保留敏感图像数据集统计特性、又能保护单张图像隐私的人工图像,但不同研究在方法比较和评估流程上往往采用各不相同的协议,导致研究结论难以横向对比,也阻碍了该领域的进一步发展。核心贡献包括三方面:第一,方法层面,论文系统研究了十二种主流 DP 图像合成方法,并基于模型架构、预训练策略和隐私机制三个维度进行了分类刻画;第二,评估层面,整合了九个数据集和七个评估指标,全面衡量各方法效用,并揭示了一个关键问题——许多现有工作根据在敏感测试集上准确率最高来选择下游分类器,这种做法不仅违反差分隐私的约束,还会高估合成图像的实际效用,DPImageBench 对此进行了纠正;第三,平台层面,尽管各方法和评估协议差异较大,DPImageBench 提供了一个标准化接口,将现有和未来的实现统一到同一框架之下。基于该基准,论文取得了若干重要发现,例如:与传统认知(在公共图像数据集上预训练通常有益)相反,预训练数据与敏感图像之间的分布相似性对合成图像性能影响显著,且预训练并不总是带来效果提升。论文已提供源代码,适合差分隐私、生成模型、隐私保护机器学习等领域的研究人员阅读。
💡 推荐理由: 为 DP 图像合成提供了首个统一评估基准,纠正了现有评估中违反差分隐私的常见做法,避免后续研究被误导;其关于预训练影响的发现有助于更合理地设计隐私保护生成模型。
🎯 建议动作: 研究跟进