推荐 3.5
Conf: 50%
本文提出了一种名为 DP-MacAdam 的新型差分隐私机制,旨在解决差分隐私随机梯度下降(DP-SGD)中固定梯度裁剪阈值导致的局限性。现有自适应裁剪算法(如 AdaClip)虽然能根据梯度经验均值和方差动态调整裁剪参数,从而获得更有效的下降方向,但并未利用这些估计值来加速训练(即缺乏动量机制)。另一方面,DP-Adam 算法采用类似 Adam 的动量更新,利用梯度均值和方差加速训练,但其裁剪阈值仍然固定。DP-MacAdam 创新性地将自适应裁剪与自适应动量相结合,使用同一组均值与方差估计同时指导裁剪和动量更新,从而兼顾隐私保护与训练效率。理论分析表明,该算法能够无偏地估计梯度方差。实验部分在标准数据集(如 MNIST、CIFAR-10)上评估了模型效用与隐私保证,结果显示 DP-MacAdam 在相同隐私预算下相比 DP-SGD、AdaClip 和 DP-Adam 基线取得了更高的模型准确率,并且无需手动调整裁剪阈值,降低了使用门槛。该工作适用于隐私保护机器学习领域的研究者和工程实践者,尤其对希望在不牺牲模型性能的前提下加强训练数据隐私保护的组织具有参考价值。
💡 推荐理由: 为差分隐私训练提供了一种既保持隐私预算又提升模型效用的实用方法,减少了超参数调优负担,有助于推动隐私保护机器学习在现实场景中的部署。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)