DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models

本文提出一种名为 DP-LAC 的轻量级自适应裁剪方法，用于解决联邦学习（FL）中差分隐私（DP）随机梯度下降（DP-SGD）的裁剪阈值自调整问题。在联邦微调大规模语言模型（LLM）时，DP-SGD 通过裁剪每个客户端贡献的梯度范数至阈值

历史摘要 · 未重新核验 · arXiv cs.CR