#decentralized-learning

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Ousmane Touat, César Sabater, Mohamed Maouche, Sonia Ben Mokhtar

本文针对去中心化机器学习中同时保证数据机密性和拜占庭鲁棒性的挑战,提出了Giskard协议。在去中心化学习中,客户端本地保存数据,仅与邻居交换模型参数或梯度。机密性要求隐藏这些参数(如通过密码学技术),而拜占庭鲁棒性需要检查参数,两者目标冲突。现有工作要么分离处理,要么使用安全多方计算(MPC)实现鲁棒聚合,但可扩展性差,需要全连接通信或委托给小子集导致负载随网络规模增长。Giskard将n个参与者组织成大小为O(log n)的委员会树,通过委员会内BGW风格的MPC,在值域上执行委员会自适应的分布式二分搜索来计算坐标近似中位数。理论证明了安全性和机密性,实验扩展到百万参与者,与最接近的竞争者相比,Giskard渐近降低了每方通信复杂度,并在多达n/4的拜占庭参与者下保持模型效用。

💡 推荐理由: Giskard为大规模去中心化学习提供了首个同时实现机密性和拜占庭鲁棒性的高效聚合方案,解决了可扩展性瓶颈,对分布式机器学习安全研究具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yunsheng Yuan, Xue Xiao, Lina Wang, Feng Li

该论文针对去中心化学习(Decentralized Learning)中的隐私保护问题展开研究。在去中心化学习中,多个智能体(Agent)在没有中心服务器的情况下协作训练全局模型,通过交换梯度信息来更新模型。然而,这种梯度交换会带来严重的隐私泄露风险,且实际应用中各智能体的训练数据通常是非独立同分布(Non-IID)的,这进一步增加了隐私保护的难度。为了解决这些问题,作者提出了一种名为DPDL的隐私保护去中心化学习算法。核心思想是结合差分隐私(Differential Privacy, DP)与相似度校准技术。具体来说,在每个训练轮次中,每个智能体在将交叉梯度(即其邻居的本地模型在自身私有数据上的导数)分享给邻居之前,先使用高斯噪声机制对其进行扰动,然后利用余弦相似度校准收到的来自邻居的扰动交叉梯度,最后将校准后的交叉梯度以动量方式聚合,用于更新本地模型。理论分析部分,作者不仅揭示了达到特定隐私保护级别所需的最小噪声水平,还证明了该算法在Non-IID数据下依然能实现线性加速(Linear Speedup)。实验方面,在真实数据集上验证了算法在防御隐私攻击和训练准确模型方面的有效性。该工作主要贡献于去中心化学习、差分隐私、Non-IID数据场景下的隐私保护算法设计。

💡 推荐理由: 去中心化学习在隐私敏感场景(如医疗、金融)中应用广泛,但梯度交换易泄露隐私。该工作针对Non-IID这一现实挑战提出了可证明隐私保证且保持训练效率的解法,对安全从业者理解并部署隐私保护机器学习有参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)