联邦学习作为一种分布式机器学习范式,允许多个客户端在不共享原始数据的情况下协作训练全局模型。然而,拜占庭鲁棒性问题是其面临的主要安全挑战之一:当存在一定数量的恶意客户端时,它们可以通过精心构造的本地模型更新来破坏全局模型的质量。现有的拜占庭鲁棒联邦学习方法通常依赖服务提供商对客户端更新进行统计分析,如修剪异常值或计算中位数,但恶意客户端仍能通过构造与正常更新方向相似但幅度极大的更新来绕过检测,因为这些方法缺乏一个可信任的基准。 本文提出 FLTrust,一种新的拜占庭鲁棒联邦学习方法,其核心思想是让服务提供商自身引导信任。具体而言,服务提供商预先收集一个干净的、小规模的训练数据集(称为根数据集),并基于此维护一个服务器模型。在每个通信轮次中,服务提供商首先计算服务器模型更新(即基于根数据集计算的梯度更新),然后为每个客户端本地模型更新分配一个信任分数:如果客户端更新的方向与服务器模型更新的方向偏离越大,则信任分数越低。接着,服务提供商对客户端更新进行幅度归一化,使其与服务器模型更新位于同一超球面上,从而限制恶意客户端通过大幅度更新造成的影响。最后,服务提供商以信任分数为权重,计算归一化后客户端更新的加权平均值作为全局模型更新,并更新全局模型。 FLTrust 不依赖对客户端数量的假设,且不要求客户端数据独立同分布。实验在六个不同领域的数据集上进行,包括图像分类、文本分类等,结果表明 FLTrust 能够有效防御现有的多种攻击(如模型替换攻击、后门攻击)以及针对性的强自适应攻击。该方法的主要贡献在于引入了基于服务提供商自身数据的信任引导机制,为联邦学习提供了新的安全基线。
💡 推荐理由: 联邦学习在隐私敏感场景广泛应用,但拜占庭攻击威胁模型安全性。FLTrust 提供了一种无需大修改即可部署的轻量级防御思路,通过服务商自持的干净数据集建立信任锚点,有效对抗恶意客户端,对构建可信联邦学习系统具有重要参考价值。
🎯 建议动作: 研究跟进