#robust-aggregation

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Nawrin Tabassum, Yanzhao Wu

本文针对联邦学习(Federated Learning, FL)系统在计算机视觉任务中面临的数据投毒攻击威胁,提出了一种名为 STAR-FL 的新型防御框架。研究指出,现有防御技术仍面临两大关键挑战:一是难以准确区分良性模型更新与恶意模型更新,二是在模型聚合阶段难以有效削弱投毒更新的影响。STAR-FL 框架包含两个核心组件:首先,利用时空聚类(spatial-temporal clustering)技术对客户端上传的模型更新进行分组与分析,从而识别并移除潜在的恶意更新;其次,在聚合过程中动态调整学习率,以减轻那些逃逸检测的恶意更新对全局模型的影响。作者在多个基准数据集上进行了大量实验,评估了时空分析与鲁棒聚合各自的贡献及其协同效应。实验结果表明,STAR-FL 能够有效保护联邦学习系统,并在抵抗定向投毒攻击方面持续优于现有的最先进防御方法,显著降低了攻击成功率(ASR)。论文还公开了源代码仓库(https://github.com/mlsysx/STAR-FL),便于研究者复现和进一步改进。该研究主要面向联邦学习安全、对抗性机器学习和鲁棒聚合领域的研究人员与安全工程师,为其提供了可落地的防御思路与实验基线。

💡 推荐理由: 联邦学习在真实场景中易受恶意客户端投毒攻击,STAR-FL 提出结合时空聚类与自适应学习率的双重防御机制,显著提升对定向投毒攻击的鲁棒性,为构建可信 FL 系统提供了实用参考。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Devharsh Trivedi, Nesrine Kaaniche, Nikos Triandopoulos, Maryline Laurent, Jackson Walters

协作机器学习允许金融机构在不直接共享数据的情况下共同训练模型,但必须同时满足群体公平性和对抗鲁棒性。然而,现有的公平性感知聚合方法在形式上容易受到“公平性投毒”攻击:恶意客户端可以在保持模型准确性的同时最大化群体差异(例如不同组间的等机会差异),从而规避基于准确性的拜占庭防御机制。论文还指出,FairFed 这类基于公平性差距加权的方案可以被能够观测全局公平性分数的攻击者所利用。针对这一威胁,作者提出了 Fairis,一种服务器端的重新加权方案,其核心思想是根据每个客户端本地报告的等机会差异(Equal Opportunity Difference, EOD)计算未归一化权重 w̄_k = η - F_k,其中 F_k 为本地 EOD(范围0到1),η>1 为安全参数;随后通过归一化得到最终权重 ω_k = w̄_k / Σ_j w̄_j。该方法保证每个客户端获得严格正的权重,同时使恶意客户端的权重随其报告的偏差单调减少。论文证明了三个关键性质:单调权重减少(MWR)、人口参与和不可博弈性,并将 MWR 扩展至多个客户端串通的少数人联盟场景。进一步地,结合服务器端范数裁剪,可证明对手对全局模型的位移被限制在 ω_0 C 以内,且该界限随对手自身报告的偏差严格递减。需要注意的是,该方法依赖于客户端诚实上报公平性分数的假设,这一假设在论文中并未得到解决。实验表明,在台湾信贷数据集上,面对一个足够隐蔽、能绕过基于准确性防御的对手(其模型准确性与良性客户端仅差0.04以内),Fairis 能将其权重比不区分大小的控制策略降低41%至54%。但在常规非独立同分布(Non-IID)数据分割下,没有任何规则占据主导地位。消融实验证明,遏制效果取决于对手的分数与诚实客户端平均值的差距;如果诚实群体本身就不公平,则遏制作用失效。

💡 推荐理由: 该研究揭示了协作学习中的新型安全威胁——公平性投毒,现有公平性聚合方案并不安全。Fairis 提供了具有理论保证的防御思路,对金融等对公平性和鲁棒性要求高的行业有直接参考价值。安全从业者应关注多客户端场景下恶意参与者如何通过操纵公平性指标影响全局模型。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 9.5
Conf: 50%
👥 作者: Sarthak Choudhary, Aashish Kolluri, Prateek Saxena

本文针对现代神经网络训练中常用的高维向量平均操作,提出了一种名为HiDRA的新型投毒攻击。训练过程中,攻击者可以通过操纵部分输入向量来偏置平均结果,从而迫使模型学习特定模式或完全丧失学习能力。拜占庭鲁棒聚合是一种原则性的算法防御,旨在限制即使部分输入被任意篡改时中心统计量(如均值)的最大偏差。然而,设计高维场景下的鲁棒聚合器极具挑战。近期提出的首个多项式时间算法声称具有与维度无关的强理论偏差上界,这似乎为投毒攻击设定了概念上的极限。本文通过HiDRA攻击揭示了这些强防御在实际实现中的计算瓶颈:防御算法在消除偏差时需要在高维空间中进行复杂的优化,而HiDRA巧妙地利用了这一点。实验表明,HiDRA能够几乎完全破坏模型性能,而现有攻击(如针对均值或中位数的攻击)效果微弱。该研究结果说明,投毒攻击与可证明防御之间的军备竞赛远未结束,理论保证在实际部署中可能因计算限制而失效。

💡 推荐理由: 本文打破了近期针对高维拜占庭鲁棒聚合的强理论防御承诺,指出其维度无关的偏差上界在实际中因计算瓶颈而可被绕过,对联邦学习、分布式训练等场景的安全性提出了严峻挑战。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tianyun Zhang, Zhen Yang, Haozhao Wang, Ru Zhang, Yongfeng Huang

联邦学习在保护数据隐私的同时,面临来自恶意客户端的模型投毒攻击威胁,现有防御方法多依赖固定阈值或固定聚类数量来区分恶意梯度与良性梯度,难以适应动态变化的攻击策略,且由于客户端本地数据异构性,容易误丢弃良性梯度。针对这些问题,本文提出一种增强聚类聚合(EnCAgg)方法,利用少量已知良性客户端作为参考,在恶意客户端数量未知且动态变化的情况下,准确识别并过滤恶意梯度,同时尽可能保留良性梯度。具体而言,首先设计基于密度的低维梯度聚类方法,将高维梯度投影到差异最大的两个维度上,采用密度聚类识别恶意梯度,同时保留聚类良性梯度和可能为良性的离群点;其次,提出增强聚类低维梯度生成器模型,学习生成与良性簇边界对齐的伪梯度,作为连接稀疏良性梯度离群点的桥梁;最后,引入低维梯度重聚类,将生成的伪梯度与真实梯度共同聚类,恢复被误分类为噪声点的良性梯度,使更多良性梯度参与聚合。在MNIST、CIFAR-10和MIND数据集上的大量实验表明,该方法在动态投毒场景下具有优异的保真度和鲁棒性。

💡 推荐理由: 联邦学习安全防护是当前热点,现有防御手段难以应对动态攻击,本方法利用少量已知良性客户端提升抗投毒鲁棒性,为实际部署提供新思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)