#robust-aggregation

共收录 2 条相关安全情报。

← 返回所有主题
推荐 9.5
Conf: 50%
👥 作者: Sarthak Choudhary, Aashish Kolluri, Prateek Saxena

本文针对现代神经网络训练中常用的高维向量平均操作,提出了一种名为HiDRA的新型投毒攻击。训练过程中,攻击者可以通过操纵部分输入向量来偏置平均结果,从而迫使模型学习特定模式或完全丧失学习能力。拜占庭鲁棒聚合是一种原则性的算法防御,旨在限制即使部分输入被任意篡改时中心统计量(如均值)的最大偏差。然而,设计高维场景下的鲁棒聚合器极具挑战。近期提出的首个多项式时间算法声称具有与维度无关的强理论偏差上界,这似乎为投毒攻击设定了概念上的极限。本文通过HiDRA攻击揭示了这些强防御在实际实现中的计算瓶颈:防御算法在消除偏差时需要在高维空间中进行复杂的优化,而HiDRA巧妙地利用了这一点。实验表明,HiDRA能够几乎完全破坏模型性能,而现有攻击(如针对均值或中位数的攻击)效果微弱。该研究结果说明,投毒攻击与可证明防御之间的军备竞赛远未结束,理论保证在实际部署中可能因计算限制而失效。

💡 推荐理由: 本文打破了近期针对高维拜占庭鲁棒聚合的强理论防御承诺,指出其维度无关的偏差上界在实际中因计算瓶颈而可被绕过,对联邦学习、分布式训练等场景的安全性提出了严峻挑战。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tianyun Zhang, Zhen Yang, Haozhao Wang, Ru Zhang, Yongfeng Huang

联邦学习在保护数据隐私的同时,面临来自恶意客户端的模型投毒攻击威胁,现有防御方法多依赖固定阈值或固定聚类数量来区分恶意梯度与良性梯度,难以适应动态变化的攻击策略,且由于客户端本地数据异构性,容易误丢弃良性梯度。针对这些问题,本文提出一种增强聚类聚合(EnCAgg)方法,利用少量已知良性客户端作为参考,在恶意客户端数量未知且动态变化的情况下,准确识别并过滤恶意梯度,同时尽可能保留良性梯度。具体而言,首先设计基于密度的低维梯度聚类方法,将高维梯度投影到差异最大的两个维度上,采用密度聚类识别恶意梯度,同时保留聚类良性梯度和可能为良性的离群点;其次,提出增强聚类低维梯度生成器模型,学习生成与良性簇边界对齐的伪梯度,作为连接稀疏良性梯度离群点的桥梁;最后,引入低维梯度重聚类,将生成的伪梯度与真实梯度共同聚类,恢复被误分类为噪声点的良性梯度,使更多良性梯度参与聚合。在MNIST、CIFAR-10和MIND数据集上的大量实验表明,该方法在动态投毒场景下具有优异的保真度和鲁棒性。

💡 推荐理由: 联邦学习安全防护是当前热点,现有防御手段难以应对动态攻击,本方法利用少量已知良性客户端提升抗投毒鲁棒性,为实际部署提供新思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)