#wasserstein-learning

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Audra McMillan, Kunal Talwar, Felix Zhou

本文研究差分隐私合成数据生成算法 Private Evolution(PE)的理论性质与改进方案。PE 是一种在差分隐私约束下生成合成数据的迭代式算法,其工作方式可以形式化为一种 Wasserstein(最优传输)学习过程:算法反复从生成器采样候选数据、在隐私保护下依据与真实数据的距离进行筛选与演化。作者指出一个长期存在的理论与实践的落差——按最坏情况下的 Wasserstein 分析,PE 所需的样本复杂度应当很高,但它在实际任务中表现远好于该理论上界。为解释这一现象,作者将 PE 重新建模为“生成模型增强的 Wasserstein 学习”(generative model-augmented Wasserstein learning),即把生成器本身视为一个携带了真实分布先验信息的组件,而不是完全无信息的假设类。在这一框架下,作者证明:当生成器能够捕捉真实分布的部分结构时,可以得到显著更优的性能界;例如若生成器在分布所处的同一低维子空间中采样,则样本复杂度只依赖于分布的内在维度(intrinsic dimension),而与环境的周围维度(ambient dimension)无关,这解释了高维数据上 PE 的实际有效性。作者同时揭示了一个负面结果:PE 的标准变体在若干简单且聚类结构良好的实例上可能无法收敛,说明现有算法在几何结构利用上存在缺陷。针对该问题,论文提出一种新的“几何感知”(geometry-aware)版本的 PE,并给出在上述良聚类实例上可证明收敛的理论保证。实验部分显示,该新算法与标准基线方法相比具有竞争力,并且在召回率(recall)指标上有所提升。整体而言,论文从理论刻画、反例构造到新算法与实验验证构成完整闭环,属于差分隐私合成数据与生成式建模交叉方向的工作,适合隐私机器学习、差分隐私合成数据、最优传输与聚类理论方向的研究者和工程实践者阅读。

💡 推荐理由: 差分隐私合成数据正被用于敏感数据共享与模型训练,PE 是其中的代表性方法。本文解释了其实际效果优于理论预测的原因,并指出标准实现可能在良聚类数据上不收敛,为评估与选型提供了新的理论依据和改进算法。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)