An Adaptive Gradient Clipping and Noise Injection Mechanism for Differentially Private Federated Learning
本文提出了一种面向差分隐私联邦学习(DPFL)的自适应梯度裁剪与噪声注入机制 DDP-SA-adaptive。在联邦学习中加入差分隐私保护时,静态梯度裁剪在整个训练过程和所有模型层使用固定阈值,若阈值过小会导致过度裁剪而损失模型精度,若阈值
共收录 2 条相关情报。
← 返回所有主题本文提出了一种面向差分隐私联邦学习(DPFL)的自适应梯度裁剪与噪声注入机制 DDP-SA-adaptive。在联邦学习中加入差分隐私保护时,静态梯度裁剪在整个训练过程和所有模型层使用固定阈值,若阈值过小会导致过度裁剪而损失模型精度,若阈值
本文提出了一种名为 DP-MacAdam 的新型差分隐私机制,旨在解决差分隐私随机梯度下降(DP-SGD)中固定梯度裁剪阈值导致的局限性。现有自适应裁剪算法(如 AdaClip)虽然能根据梯度经验均值和方差动态调整裁剪参数,从而获得更有效的