#language-models

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Haaris Mehmood, Jie Xu, Karthikeyan Saravanan, Rogier Van Dalen, Mete Ozay

本文提出一种名为 DP-LAC 的轻量级自适应裁剪方法,用于解决联邦学习(FL)中差分隐私(DP)随机梯度下降(DP-SGD)的裁剪阈值自调整问题。在联邦微调大规模语言模型(LLM)时,DP-SGD 通过裁剪每个客户端贡献的梯度范数至阈值 C 并添加与 C 成比例的高斯噪声来保护隐私。现有的自适应裁剪方法虽然能动态调整 C,但需要繁琐的超参数调优,且可能消耗额外的隐私预算。DP-LAC 首先通过私有直方图估计在最优阈值的一个数量级内估算初始裁剪阈值,随后在训练过程中在不消耗额外隐私预算且不引入新超参数的情况下自适应调整该阈值。实验结果表明,DP-LAC 在多个任务上平均准确率比当前最优自适应裁剪方法和原始 DP-SGD 提高 6.6%,显著提升了模型效用与隐私保护之间的权衡。该方法特别适用于资源受限的边缘设备场景,为联邦学习中差分隐私的实用化提供了轻量级解决方案。

💡 推荐理由: 联邦学习中的差分隐私保护是安全与隐私领域的关键挑战。DP-LAC 提供了一种无需额外超参数调优的自适应裁剪方法,能够在减少隐私预算消耗的同时提升模型精度,对于实际部署差分隐私联邦学习系统具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)