#adaptive-clipping

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Wenjing Wei, Alla Jammine, Farid Nait-Abdesselam

本文提出了一种面向差分隐私联邦学习(DPFL)的自适应梯度裁剪与噪声注入机制 DDP-SA-adaptive。在联邦学习中加入差分隐私保护时,静态梯度裁剪在整个训练过程和所有模型层使用固定阈值,若阈值过小会导致过度裁剪而损失模型精度,若阈值过大则会注入不必要的大噪声,从而在隐私保护、模型精度和训练效率之间难以取得良好平衡。DDP-SA-adaptive 在每个通信轮次中,由每个客户端根据其逐样本梯度范数的中位数,为每一层模型确定独立的裁剪阈值。这种逐轮、逐层的自适应阈值机制能够跟随梯度分布的变化,并在更新被编码和经中间聚合服务器进行秘密共享之前,校准所添加的拉普拉斯噪声。作者在一个联邦回归任务上评估了所提出机制的效率、精度、隐私、收敛性、裁剪范数和噪声量级。实验结果显示,与静态 DDP-SA 基线相比,DDP-SA-adaptive 将通信轮次减少 6.81%,总训练时间减少 19.21%,每轮平均训练时间减少 13.33%,从而提升了训练效率;测试损失降低 98.74%,测试 R2 提高 3.41%,模型精度得到改善。在达到 R2=0.99 时,自适应机制所需的隐私预算约为 epsilon=0.1,而静态 DDP-SA 需要 epsilon=0.4,因此在提供更强隐私保护的同时实现了更好的隐私-精度-效率权衡。该研究证明了逐轮、逐层的自适应机制能够有效改进差分隐私联邦学习的三方权衡,适合关注隐私保护机器学习、联邦学习效率优化及差分隐私机制设计的研究人员和工程师阅读。

💡 推荐理由: 该研究为联邦学习中的隐私保护提供了更高效的自适应机制,能够显著降低隐私预算并提升模型精度,对需要在实际系统中部署差分隐私联邦学习的团队有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Naima Tasnim, Lalitha Sankar, Oliver Kosut

本文提出了一种名为 DP-MacAdam 的新型差分隐私机制,旨在解决差分隐私随机梯度下降(DP-SGD)中固定梯度裁剪阈值导致的局限性。现有自适应裁剪算法(如 AdaClip)虽然能根据梯度经验均值和方差动态调整裁剪参数,从而获得更有效的下降方向,但并未利用这些估计值来加速训练(即缺乏动量机制)。另一方面,DP-Adam 算法采用类似 Adam 的动量更新,利用梯度均值和方差加速训练,但其裁剪阈值仍然固定。DP-MacAdam 创新性地将自适应裁剪与自适应动量相结合,使用同一组均值与方差估计同时指导裁剪和动量更新,从而兼顾隐私保护与训练效率。理论分析表明,该算法能够无偏地估计梯度方差。实验部分在标准数据集(如 MNIST、CIFAR-10)上评估了模型效用与隐私保证,结果显示 DP-MacAdam 在相同隐私预算下相比 DP-SGD、AdaClip 和 DP-Adam 基线取得了更高的模型准确率,并且无需手动调整裁剪阈值,降低了使用门槛。该工作适用于隐私保护机器学习领域的研究者和工程实践者,尤其对希望在不牺牲模型性能的前提下加强训练数据隐私保护的组织具有参考价值。

💡 推荐理由: 为差分隐私训练提供了一种既保持隐私预算又提升模型效用的实用方法,减少了超参数调优负担,有助于推动隐私保护机器学习在现实场景中的部署。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)