#byzantine-robustness

共收录 5 条相关安全情报。

← 返回所有主题
推荐 3.5
Conf: 50%
👥 作者: Asmah Muallem, Firdous Kausar, Sajid Hussain, Lei Qian

本文研究联邦学习场景下的入侵检测系统(Federated IDS)在面对标签翻转投毒(label-flipping model poisoning)时的鲁棒性问题。作者构建了一个三客户端联邦入侵检测实验环境,训练数据为 CICIDS2017,并刻意让各客户端之间的攻击子类型分布呈现非独立同分布(non-IID)特征,以更贴近真实的多机构协同检测场景。实验的核心发现是:当单个拜占庭客户端将自己 60% 的训练标签进行翻转时,攻击者实际上会"自伤"——该客户端自身的联邦检测准确率从无投毒情况下的 99.96% 跌至 84.33%,而联邦全局集成模型(global ensemble)在所有测试的投毒比例下都保持了稳定的准确率,且这一现象是在没有任何防御机制、攻击者之间也没有任何协同的前提下出现的。作者据此提出一个关键洞察:拜占庭客户端因自伤而产生的性能异常信号,本身就是一个可被检测、可被利用的异常特征,可用于在缺乏目标数据外泄(exfiltration)证据的情况下识别拜占庭客户端,从而把"投毒副作用"转化为"检测线索"。作者同时给出重要的方法学限定:本实验的聚合步骤采用的是 Federated Forest(树级联式集成)而非参数化的 FedAvg,因此所测得的结论刻画的是集成聚合下投毒对单客户端性能的影响;将该结论推广到真正的 FedAvg 与参数化分类器的工作被列为后续研究计划。整体而言,论文的贡献在于以实证数据量化了标签翻转投毒在非 IID 联邦 IDS 中的实际破坏力边界,并首次系统性地论证了"攻击者自损信号"可作为拜占庭节点识别依据这一防御思路。适合联邦学习安全、入侵检测、鲁棒聚合与可信 AI 方向的研究者与安全工程师阅读。

💡 推荐理由: 它给出一个反直觉但实用的防御视角:投毒攻击者往往先拖垮自己,这种自损造成的性能异常可作为检测拜占庭客户端的信号。对做联邦 IDS、多机构协同检测与鲁棒聚合的团队,提供了低成本、无需额外防御机制的检测切入点。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Saranraj S, Saranya M S, Alex David S, Ajay Kumar A

该论文针对联邦学习鲁棒聚合的一个被忽视的前提缺陷展开研究:坐标中位数、Krum、Bulyan、截断均值等方法的有限样本保证,都默认每轮参与客户端是全体总体的公平采样。但在部分参与场景下每轮仅少量客户端上报,攻击者占比即便不高也足以主导该轮样本,使上述理论保证静默失效。作者提出 SWB-DM 聚合器:SWB 将每个客户端更新的每一维切片视为一维分布,在客户端间计算经截断的 Wasserstein 重心,再通过基于 medoid 的规范固定步骤恢复坐标对应关系;作者明确说明该步骤是启发式做法,不主张其属于标准最优传输理论。DeMoA 风格的延迟动量则每轮在全体客户端上缓存更新,把鲁棒性与“本轮恰好采样到谁”解耦,代价是需要预热轮次。截断比例校准同样关键:截断不足会在适当校准后本可存活的污染水平下崩溃。实验覆盖 448 组 CIFAR-10 配置,并扩展到 CIFAR-100、FEMNIST 与 500 客户端可扩展性测试,揭示多种机理不同的失效模式:均匀采样下的坐标中位数退化为确定性错误答案;Krum 在违反 n>2f+2 前提时无告警发散;Bulyan 的 n>=4f+3 阈值呈突变的通过/失败边界。攻击侧,IPM 比 ALIE 更稳定地攻破包括 SWB 在内的次序统计类防御,并经 delta 空间测量与收敛界验证。将各基线扩展到相同轮预算后,SWB-DM 在 CIFAR-10 上增益格外显著;CIFAR-100 上 FLTrust 获益更多,但原因与缓存无关。

💡 推荐理由: 大量联邦学习部署依赖 Krum、Bulyan、坐标中位数等聚合防御,而在客户端参与率低时这些方法的理论前提可能静默被破坏,导致防御形同虚设。本文系统给出失效模式、校准要求与跨轮缓存思路,对 FL 聚合层安全评估有直接参考价值。

🎯 建议动作: 研究跟进,并将参与率前提校验与截断比例校准纳入内部联邦学习聚合方案评估清单

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xiao Ma, Hong Shen, Hui Tian, Wenqi Lyu, Wei Ke

该论文提出了一种鲁棒的分散式个性化联邦学习方法 R-DPFL,旨在解决现有分散式联邦学习在面对拜占庭攻击时容易受到恶意客户端影响的问题。与传统的中心化联邦学习不同,分散式场景中每个客户端只与邻居交换模型更新,没有全局协调者,因此恶意邻居可能通过发送异常更新来破坏学习过程。已有的方法通常仅通过聚合邻居模型来缓解攻击,但效果有限。R-DPFL 的核心创新在于:每个客户端在进行模型更新时,不再直接信任聚合结果,而是采用两步机制。第一步,客户端对当前收到的邻居更新向量进行鲁棒的方向估计,得到基于邻域信息的聚合更新;第二步,基于该客户端自身的历史更新值和本地模型的连续变化趋势,预测当前轮次本应具有的更新方向。随后,R-DPFL 计算这两个量之间的差异,对这种差异进行自适应裁剪(adaptive clipping),并将裁剪后的差异加到本地更新中,从而抑制异常邻居造成的偏差。这种机制本质上是一种预测约束的协作策略,使得诚实客户端在拜占庭邻居干扰下仍能保持稳定的个性化下降趋势。作者通过严格的数学分析证明了该方法的收敛性,并在 CIFAR-10 数据集上开展了大量实验。实验结果表明,在数据异构和对抗性设置下,R-DPFL 在准确性和鲁棒性方面均一致优于现有的分散式联邦学习和个性化联邦学习基线方法。该工作对于分散式联邦学习中的恶意攻击防御提供了新的思路,尤其适用于对隐私要求较高且缺乏中心协调器的边缘计算或物联网场景。适合研究联邦学习、分布式机器学习安全以及对抗鲁棒性的学者和工程师阅读。

💡 推荐理由: 分散式联邦学习缺乏中心节点,恶意客户端更易影响模型更新。本方法不依赖模型聚合而是利用历史趋势做预测约束,为蓝队防御分布式投毒攻击提供了可借鉴的鲁棒更新策略。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Thomas Boudou, Batiste Le Bars, Nirupam Gupta, Aurélien Bellet

该论文研究了在拜占庭鲁棒分布式学习场景下,本地差分隐私(LDP)对模型泛化误差的影响。现有工作已证明在分布式学习中,拜占庭鲁棒性、LDP和优化误差之间存在基本的三难困境。然而,本文发现这一三难困境并非普遍适用于泛化误差,而是关键取决于隐私强度。具体而言,在高噪声(强隐私)区域,作者证明增加隐私实际上会降低泛化误差,即鲁棒性与隐私之间不存在冲突;而在低噪声(弱隐私)区域,两者之间的冲突重新出现,增加隐私确实会损害泛化。通过推导LDP约束下拜占庭鲁棒分布式学习的算法稳定性上下界,论文从理论上解释了泛化误差的这种非单调行为,并通过实验验证了理论发现。该结果对于设计兼顾鲁棒性、隐私和泛化性能的联邦学习系统具有重要指导意义。

💡 推荐理由: 揭示了拜占庭鲁棒与隐私之间复杂关系,挑战了现有的三难困境认知,为设计更优的联邦学习安全策略提供理论依据。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ousmane Touat, César Sabater, Mohamed Maouche, Sonia Ben Mokhtar

本文针对去中心化机器学习中同时保证数据机密性和拜占庭鲁棒性的挑战,提出了Giskard协议。在去中心化学习中,客户端本地保存数据,仅与邻居交换模型参数或梯度。机密性要求隐藏这些参数(如通过密码学技术),而拜占庭鲁棒性需要检查参数,两者目标冲突。现有工作要么分离处理,要么使用安全多方计算(MPC)实现鲁棒聚合,但可扩展性差,需要全连接通信或委托给小子集导致负载随网络规模增长。Giskard将n个参与者组织成大小为O(log n)的委员会树,通过委员会内BGW风格的MPC,在值域上执行委员会自适应的分布式二分搜索来计算坐标近似中位数。理论证明了安全性和机密性,实验扩展到百万参与者,与最接近的竞争者相比,Giskard渐近降低了每方通信复杂度,并在多达n/4的拜占庭参与者下保持模型效用。

💡 推荐理由: Giskard为大规模去中心化学习提供了首个同时实现机密性和拜占庭鲁棒性的高效聚合方案,解决了可扩展性瓶颈,对分布式机器学习安全研究具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)