#byzantine-robustness

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Srikumar Nayak

本文提出了一种结合差分隐私与拜占庭鲁棒聚合的联邦学习框架 DP-BR-FedAvg,面向银行、医院等受数据保护法规约束且对抗性较强的跨机构联合建模场景。论文指出,传统的联邦平均(FedAvg)存在两个关键缺陷:一是客户端在通信中交换的参数更新仍可能通过梯度反演或成员推断攻击泄露本地隐私;二是 FedAvg 在部分客户端提交恶意或损坏更新时缺乏防御能力,少量恶意参与方即可悄然使全局模型偏离预期。为此,作者将高斯机制的差分隐私(DP)层与坐标裁剪的修剪均值(coordinate-wise trimmed-mean)鲁棒聚合规则相结合,并在一个模拟欺诈检测/临床风险评分的跨机构分类任务上开展实验。实验设置包括 20 个客户端参与 60 轮通信,其中四分之一为拜占庭恶意节点。结果表明,普通 FedAvg 在少数类上几乎完全失效(F1 分数降至 0.030),而 DP-BR-FedAvg 虽因隐私保护引入额外噪声,仍能达到 0.119 的 F1 分数,同时严格限制了单个客户端贡献的隐私泄漏风险。进一步对比显示,不叠加隐私保护层的纯拜占庭鲁棒聚合器在原始准确率上表现最佳,这揭示了隐私保护与鲁棒性之间并非简单的叠加关系,而是存在相互制约的复杂交互。论文的核心贡献在于定量评估了隐私对鲁棒性的代价,并强调在受监管、多机构、潜在对抗环境下设计联邦系统时,必须预算这种交互影响。研究适用于关注隐私保护、对抗鲁棒性及安全联邦学习的蓝队人员、人工智能安全治理评估者及安全架构师。

💡 推荐理由: 对安全从业者而言,该研究揭示了联邦学习在金融、医疗等敏感场景下隐私与鲁棒性不可孤立设计,为评估和加固联邦系统提供了实证依据与候选防御方案。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Thomas Boudou, Batiste Le Bars, Nirupam Gupta, Aurélien Bellet

该论文研究了在拜占庭鲁棒分布式学习场景下,本地差分隐私(LDP)对模型泛化误差的影响。现有工作已证明在分布式学习中,拜占庭鲁棒性、LDP和优化误差之间存在基本的三难困境。然而,本文发现这一三难困境并非普遍适用于泛化误差,而是关键取决于隐私强度。具体而言,在高噪声(强隐私)区域,作者证明增加隐私实际上会降低泛化误差,即鲁棒性与隐私之间不存在冲突;而在低噪声(弱隐私)区域,两者之间的冲突重新出现,增加隐私确实会损害泛化。通过推导LDP约束下拜占庭鲁棒分布式学习的算法稳定性上下界,论文从理论上解释了泛化误差的这种非单调行为,并通过实验验证了理论发现。该结果对于设计兼顾鲁棒性、隐私和泛化性能的联邦学习系统具有重要指导意义。

💡 推荐理由: 揭示了拜占庭鲁棒与隐私之间复杂关系,挑战了现有的三难困境认知,为设计更优的联邦学习安全策略提供理论依据。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ousmane Touat, César Sabater, Mohamed Maouche, Sonia Ben Mokhtar

本文针对去中心化机器学习中同时保证数据机密性和拜占庭鲁棒性的挑战,提出了Giskard协议。在去中心化学习中,客户端本地保存数据,仅与邻居交换模型参数或梯度。机密性要求隐藏这些参数(如通过密码学技术),而拜占庭鲁棒性需要检查参数,两者目标冲突。现有工作要么分离处理,要么使用安全多方计算(MPC)实现鲁棒聚合,但可扩展性差,需要全连接通信或委托给小子集导致负载随网络规模增长。Giskard将n个参与者组织成大小为O(log n)的委员会树,通过委员会内BGW风格的MPC,在值域上执行委员会自适应的分布式二分搜索来计算坐标近似中位数。理论证明了安全性和机密性,实验扩展到百万参与者,与最接近的竞争者相比,Giskard渐近降低了每方通信复杂度,并在多达n/4的拜占庭参与者下保持模型效用。

💡 推荐理由: Giskard为大规模去中心化学习提供了首个同时实现机密性和拜占庭鲁棒性的高效聚合方案,解决了可扩展性瓶颈,对分布式机器学习安全研究具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)