论文提出一种针对直方流(Rectified Flow)变换器的几何感知差分隐私训练方法StraightDP,旨在解决文本条件生成模型在强隐私约束下出现的效用悬崖(utility cliff)问题。作者重新审视了直方流的几何特性:在噪声到数据的直线插值过程中,贝叶斯最优速度(Bayes-optimal velocity)在噪声端点主要由少数类条件矩(class-conditional moments)控制,而越接近数据端点,样本特定结构越重要。StraightDP利用这一异质性,先将一小部分隐私预算用于一次性释放白化的类条件矩,这些矩可被蒸馏进模型权重或在采样时注入;其余预算则通过预先声明的DP-SGD(差分隐私随机梯度下降)用于数据端训练,以捕捉超出矩刻画的样本细节。在MNIST数据集上,当ε=1时,仅释放矩即可达到0.76的下游任务准确率,并生成类似原型的样本(FID为237),而统一DP-SGD仅达到0.21;基于矩释放的完整管道在公共潜在空间中达到0.81的准确率和FID 56。此外,作者发现对多模态骨干网络的每token流范数进行约束,不会改变预训练损失,但能显著提升极端噪声像素空间(pixel-space)下的下游准确率,且隐私强度越强,其准确率增益越单调增加。最后,释放的矩还可迁移至冻结的SD3-medium模型,在采样时注入比DP-LoRA训练更节省预算且效果更好。该研究提供了DP训练生成模型的新视角,通过几何感知的预算分配显著改善隐私-效用权衡,适合研究私有生成模型、差分隐私算法和直方流架构的学者与工程师阅读。
💡 推荐理由: 该研究为差分隐私生成模型提供了一种突破效用瓶颈的新范式,对需要保护训练数据隐私的文本到图像生成等场景具有重要意义,并为DP训练中的预算分配和矩注入提供了可参考的设计思路。
🎯 建议动作: 研究跟进