本文提出了一种面向差分隐私联邦学习(DPFL)的自适应梯度裁剪与噪声注入机制 DDP-SA-adaptive。在联邦学习中加入差分隐私保护时,静态梯度裁剪在整个训练过程和所有模型层使用固定阈值,若阈值过小会导致过度裁剪而损失模型精度,若阈值过大则会注入不必要的大噪声,从而在隐私保护、模型精度和训练效率之间难以取得良好平衡。DDP-SA-adaptive 在每个通信轮次中,由每个客户端根据其逐样本梯度范数的中位数,为每一层模型确定独立的裁剪阈值。这种逐轮、逐层的自适应阈值机制能够跟随梯度分布的变化,并在更新被编码和经中间聚合服务器进行秘密共享之前,校准所添加的拉普拉斯噪声。作者在一个联邦回归任务上评估了所提出机制的效率、精度、隐私、收敛性、裁剪范数和噪声量级。实验结果显示,与静态 DDP-SA 基线相比,DDP-SA-adaptive 将通信轮次减少 6.81%,总训练时间减少 19.21%,每轮平均训练时间减少 13.33%,从而提升了训练效率;测试损失降低 98.74%,测试 R2 提高 3.41%,模型精度得到改善。在达到 R2=0.99 时,自适应机制所需的隐私预算约为 epsilon=0.1,而静态 DDP-SA 需要 epsilon=0.4,因此在提供更强隐私保护的同时实现了更好的隐私-精度-效率权衡。该研究证明了逐轮、逐层的自适应机制能够有效改进差分隐私联邦学习的三方权衡,适合关注隐私保护机器学习、联邦学习效率优化及差分隐私机制设计的研究人员和工程师阅读。
💡 推荐理由: 该研究为联邦学习中的隐私保护提供了更高效的自适应机制,能够显著降低隐私预算并提升模型精度,对需要在实际系统中部署差分隐私联邦学习的团队有直接参考价值。
🎯 建议动作: 研究跟进