#byzantine-robust

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Saranraj S, Saranya M S, Alex David S, Ajay Kumar A

该论文研究联邦学习(FL)中拜占庭鲁棒聚合的一个被长期忽视的前提:每轮参与训练的客户端应当是全体客户端的公平样本。在部分参与(partial participation)场景下,每轮仅有少量客户端上报更新,即使恶意客户端只占全体的一小部分,也可能主导当轮采样集合,使坐标中位数(coordinate-wise median)、Krum、Bulyan、截尾均值(trimmed mean)等方法所依赖的有限样本保证静默失效。作者提出 SWB-DM 聚合器以直接应对该问题。SWB 把每个客户端更新的每个切片(按坐标分组)视为一维分布,在客户端之间计算截尾 Wasserstein 重心(trimmed Wasserstein barycenter),再通过基于 medoid 的规范固定(gauge-fixing)步骤恢复坐标身份;作者明确指出该步是自行设计的启发式,不声称其属于标准最优传输理论的结论。DeMoA 风格的延迟动量(delayed momentum)每轮在整个客户端群体上缓存更新,把鲁棒性与当轮恰好被抽样的子集解耦。截尾比例(trim ratio)校准并非装饰性细节:截尾不足会在经过适当校准即可存活的污染水平下直接导致训练崩溃。实验覆盖 448 组 CIFAR-10 配置,另加 CIFAR-100、FEMNIST 以及 500 客户端可扩展性实验,揭示出若干机制上彼此不同的失效模式:均匀样本条件下坐标中位数退化为确定性的错误答案;Krum 静默违反其 n > 2f+2 的先决条件并在毫无警告的情况下发散;Bulyan 的 n ≥ 4f+3 阈值表现为锐利的通过/失败边界。在攻击侧,IPM 比 ALIE 更可靠地击败基于次序统计量的防御(包括 SWB),并通过 delta 空间测量与收敛界得到确认。SWB-DM 的缓存机制存在真实的预热成本,但把所有基线扩展到相同的轮次预算后,其 CIFAR-10 上的增益不成比例地大;而在 CIFAR-100 上 FLTrust 受益更多,但原因与缓存完全无关。该工作适合联邦学习系统、分布式训练安全与鲁棒聚合方向的研究者和工程师阅读。

💡 推荐理由: 部分参与是联邦学习部署常态,论文指出主流鲁棒聚合(Krum/Bulyan/坐标中位数)在该条件下先决条件被静默违反甚至确定性失效,并强调截尾比例校准与跨轮延迟动量缓存的决定性作用,对 FL 安全评估与对抗测试有直接参考价值。

🎯 建议动作: 研究跟进,纳入内部联邦学习防护评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Minghong Fang, Seyedsina Nabavirazavi, Zhuqing Liu, Wei Sun 0013, Sundaraja Sitharama Iyengar, Haibo Yang 0001

联邦学习(FL)允许多个客户端在服务器协调下协同训练全局机器学习模型,而无需交换私有训练数据。然而,其分布式特性使其容易受到投毒攻击:恶意客户端可通过发送篡改后的本地模型更新来操纵全局模型。为此,学术界提出了多种针对拜占庭故障的鲁棒聚合规则(如Trimmed-mean、Median等),以抵御此类攻击。但现有方法仍可能被高级攻击绕过,或依赖关于服务器行为的不可实现假设。本文提出一个关键观点:无需设计新的拜占庭鲁棒聚合规则,而是可以通过增强已有成熟聚合规则的鲁棒性来保障联邦学习的安全。作者提出了FoundationFL这一新型防御机制:服务器在收到客户端的本地模型更新后,先生成合成更新(synthetic updates),然后将客户端模型更新与合成更新一起输入现有拜占庭鲁棒基础聚合规则(如Trimmed-mean或Median)进行组合。文章从理论上证明了FoundationFL在拜占庭设置下的收敛性能,并在多个真实数据集上进行了全面实验,验证了其有效性。核心贡献在于:1)重新思考联邦学习防御策略,避免重复设计复杂规则;2)通过合成更新与基础聚合器结合,提高鲁棒性且易于实现;3)提供了理论收敛保证和实证验证。适合联邦学习安全研究者、隐私保护机器学习工程师以及关注对抗性投毒防御的安全从业者阅读。

💡 推荐理由: 该研究为联邦学习投毒攻击防御提供了新思路,无需发明新聚合器,通过服务器生成合成更新即可增强现有方法的鲁棒性,有助降低防御设计成本并提升实用安全性。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Srikumar Nayak

该论文聚焦于联邦学习在银行、医院等受监管机构中的实际应用痛点。尽管联邦学习允许各方在不共享原始数据的前提下协同训练模型,但仍有两大安全隐患:一是客户端交换的参数更新仍可能通过梯度反演或成员推断攻击泄露本地记录信息;二是诸如 FedAvg 这类基于简单平均的聚合规则对恶意或受损客户端缺乏鲁棒性,少数恶意参与者就可能悄然破坏共享模型。为此,作者提出了 DP-BR-FedAvg 框架,将高斯机制差分隐私(DP)层与坐标级修剪均值(coordinate-wise trimmed-mean)拜占庭鲁棒聚合规则相结合。论文在模拟的跨机构分类任务(类似欺诈检测和临床风险评分)上进行了评估。实验设置包含 60 轮通信、20 个客户端,其中四分之一为拜占庭恶意节点。结果显示:纯 FedAvg 在少数类上完全崩溃(F1 分数仅 0.030),而所提框架显著恢复信号(F1 分数达到 0.119),同时约束了单个客户端贡献的隐私损失。值得注意的是,仅使用拜占庭鲁棒聚合而不加隐私层时原始准确率最高,这量化了隐私对鲁棒性带来的代价。研究表明,隐私保护与鲁棒性机制之间存在相互作用而非简单叠加,因此在设计受监管、对抗性、跨机构场景的系统时必须为此预留预算。适合关注联邦学习隐私与安全交叉问题的研究人员、银行/医疗行业的安全架构师以及监管科技从业者阅读。

💡 推荐理由: 该工作直接回应了受监管行业应用联邦学习时最核心的两个担忧:隐私泄露与恶意参与者的影响。为同时满足 DP 与拜占庭鲁棒性提供了可参考的框架和实验基准,对设计安全的跨机构协作学习系统具有实际借鉴价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Harsh Kasyap, Anil Kumar Pradhan, Ugur Ilker Atmaca, Graham Cormode, Carsten Maple

联邦学习(FL)允许多个客户端协作训练机器学习模型,同时保留数据本地性,从而增强用户隐私。然而,传统的FL框架依赖中心化聚合服务器,并假设客户端是诚实但好奇的,这使其易受服务器端推理和客户端投毒攻击。先前的工作虽然探索了安全且拜占庭鲁棒的FL协议,但它们在隐私、完整性和可验证性之间存在根本性权衡,并且由于大量使用密码学原语而产生了巨大的计算和通信开销。本文提出PRoVeFL——一个新颖的模块化FL框架,兼具隐私保护、拜占庭鲁棒性和可验证聚合。PRoVeFL利用多服务器架构和多方全同态加密:每个客户端加密其本地模型更新并将加密份额分发给所有服务器。这种设计实现了混合计算模型,在严格隐私约束下将密文操作巧妙地卸载到明文域,以高效评估复杂的统计聚合规则。PRoVeFL兼容多种最先进的拜占庭鲁棒聚合算法(如Krum、Trimmed Mean、FLTrust、范数裁剪、MESAS等),并通过可验证性机制进一步增强它们,该机制仅需信任至少一个诚实服务器。我们在不同设置下进行了评估,证明了其在参数数量和参与者数量变化时的可扩展性。与先前基于分布式信任且具有可比安全性的工作Prio和ELSA相比,PRoVeFL的运行时分别提高了最多100倍和10倍。

💡 推荐理由: 该工作直接解决了联邦学习中隐私、鲁棒性与可验证性难以兼得的痛点,为安全且实用的联邦学习系统设计提供了新思路,尤其适合需要高安全保证的敏感数据场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xiaoyu Cao, Minghong Fang, Jia Liu 0002, Neil Zhenqiang Gong

联邦学习作为一种分布式机器学习范式,允许多个客户端在不共享原始数据的情况下协作训练全局模型。然而,拜占庭鲁棒性问题是其面临的主要安全挑战之一:当存在一定数量的恶意客户端时,它们可以通过精心构造的本地模型更新来破坏全局模型的质量。现有的拜占庭鲁棒联邦学习方法通常依赖服务提供商对客户端更新进行统计分析,如修剪异常值或计算中位数,但恶意客户端仍能通过构造与正常更新方向相似但幅度极大的更新来绕过检测,因为这些方法缺乏一个可信任的基准。 本文提出 FLTrust,一种新的拜占庭鲁棒联邦学习方法,其核心思想是让服务提供商自身引导信任。具体而言,服务提供商预先收集一个干净的、小规模的训练数据集(称为根数据集),并基于此维护一个服务器模型。在每个通信轮次中,服务提供商首先计算服务器模型更新(即基于根数据集计算的梯度更新),然后为每个客户端本地模型更新分配一个信任分数:如果客户端更新的方向与服务器模型更新的方向偏离越大,则信任分数越低。接着,服务提供商对客户端更新进行幅度归一化,使其与服务器模型更新位于同一超球面上,从而限制恶意客户端通过大幅度更新造成的影响。最后,服务提供商以信任分数为权重,计算归一化后客户端更新的加权平均值作为全局模型更新,并更新全局模型。 FLTrust 不依赖对客户端数量的假设,且不要求客户端数据独立同分布。实验在六个不同领域的数据集上进行,包括图像分类、文本分类等,结果表明 FLTrust 能够有效防御现有的多种攻击(如模型替换攻击、后门攻击)以及针对性的强自适应攻击。该方法的主要贡献在于引入了基于服务提供商自身数据的信任引导机制,为联邦学习提供了新的安全基线。

💡 推荐理由: 联邦学习在隐私敏感场景广泛应用,但拜占庭攻击威胁模型安全性。FLTrust 提供了一种无需大修改即可部署的轻量级防御思路,通过服务商自持的干净数据集建立信任锚点,有效对抗恶意客户端,对构建可信联邦学习系统具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zehui Tang, Yuchen Liu, Feihu Huang

本文提出了一种针对联邦学习(FL)中拜占庭攻击的多层防御自适应聚合方法(AdaBFL)。联邦学习允许客户端在不共享原始数据的情况下协作训练模型,但其分布式特性使其容易受到投毒攻击,恶意客户端可能提交损坏的模型以操纵全局模型。现有的拜占庭鲁棒方法要么无法平衡对抗多种攻击类型,要么依赖服务器持有数据集。为此,AdaBFL设计了一个新颖的三层防御机制:第一层通过统计检测异常更新,第二层采用加权平均聚合,第三层自适应调整各防御算法的权重以应对复杂攻击。该方法在非凸非独立同分布(non-iid)数据设置下提供了收敛性保证。在多个数据集上的实验表明,AdaBFL在防御效果上优于对比算法,且能有效应对多种攻击类型的混合场景。研究贡献包括:提出自适应多层防御框架、证明收敛性、以及实验验证鲁棒性。适合联邦学习安全研究者及关注隐私保护与鲁棒性的工程师阅读。

💡 推荐理由: 联邦学习中的投毒攻击是实际部署的主要威胁,现有防御往往顾此失彼。AdaBFL的自适应多层机制突破了单一防御的局限,为构建实用化鲁棒聚合方案提供了新思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)