#poisoning-attack

共收录 7 条相关安全情报。

← 返回所有主题
👥 作者: Devharsh Trivedi, Nesrine Kaaniche, Nikos Triandopoulos, Maryline Laurent, Jackson Walters

协作机器学习允许金融机构在不直接共享数据的情况下共同训练模型,但必须同时满足群体公平性和对抗鲁棒性。然而,现有的公平性感知聚合方法在形式上容易受到“公平性投毒”攻击:恶意客户端可以在保持模型准确性的同时最大化群体差异(例如不同组间的等机会差异),从而规避基于准确性的拜占庭防御机制。论文还指出,FairFed 这类基于公平性差距加权的方案可以被能够观测全局公平性分数的攻击者所利用。针对这一威胁,作者提出了 Fairis,一种服务器端的重新加权方案,其核心思想是根据每个客户端本地报告的等机会差异(Equal Opportunity Difference, EOD)计算未归一化权重 w̄_k = η - F_k,其中 F_k 为本地 EOD(范围0到1),η>1 为安全参数;随后通过归一化得到最终权重 ω_k = w̄_k / Σ_j w̄_j。该方法保证每个客户端获得严格正的权重,同时使恶意客户端的权重随其报告的偏差单调减少。论文证明了三个关键性质:单调权重减少(MWR)、人口参与和不可博弈性,并将 MWR 扩展至多个客户端串通的少数人联盟场景。进一步地,结合服务器端范数裁剪,可证明对手对全局模型的位移被限制在 ω_0 C 以内,且该界限随对手自身报告的偏差严格递减。需要注意的是,该方法依赖于客户端诚实上报公平性分数的假设,这一假设在论文中并未得到解决。实验表明,在台湾信贷数据集上,面对一个足够隐蔽、能绕过基于准确性防御的对手(其模型准确性与良性客户端仅差0.04以内),Fairis 能将其权重比不区分大小的控制策略降低41%至54%。但在常规非独立同分布(Non-IID)数据分割下,没有任何规则占据主导地位。消融实验证明,遏制效果取决于对手的分数与诚实客户端平均值的差距;如果诚实群体本身就不公平,则遏制作用失效。

💡 推荐理由: 该研究揭示了协作学习中的新型安全威胁——公平性投毒,现有公平性聚合方案并不安全。Fairis 提供了具有理论保证的防御思路,对金融等对公平性和鲁棒性要求高的行业有直接参考价值。安全从业者应关注多客户端场景下恶意参与者如何通过操纵公平性指标影响全局模型。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zirui Gong, Yanjun Zhang, Leo Yu Zhang, Zhaoxi Zhang 0001, Yong Xiang 0001, Shirui Pan

本文研究联邦排名学习(Federated Ranking Learning, FRL)的鲁棒性。FRL 是一种新兴的联邦学习范式,与传统联邦学习有两个关键区别:1)客户端传递离散排名而非梯度更新,大幅降低通信成本并限制恶意更新空间;2)服务端采用多数投票聚合全局排名,每个客户端仅贡献一票,从而削弱单个客户端的恶意影响。这些特性使 FRL 具备良好的可扩展性和抗投毒潜力。然而,作者通过理论分析证明 FRL 并非固有鲁棒,存在特定脆弱边(vulnerable edges)。他们推导出每层中识别脆弱边的下界和上界,并据此提出一种新型本地模型投毒攻击——脆弱边操纵攻击(VEM)。该攻击首先定位每层最脆弱的边,然后利用优化方法最大化扰动效果。在基准数据集上的实验表明,VEM 攻击的平均攻击影响力达 53.23%,是现有最佳方法的 3.7 倍。这项工作揭示了排名联邦学习中的重大安全漏洞,并强调了开发新型鲁棒联邦学习框架的紧迫性。

💡 推荐理由: 传统关注联邦学习梯度安全,但此研究揭示排名联邦学习同样存在特定脆弱点,且攻击效率极高,对设计更稳健的联邦学习系统有重要警示。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zifan Zhang, Minghong Fang, Dianwei Chen, Zhuqing Liu, Prashant Khanduri, Xianfeng Yang, Anupam Das, Yuchen Liu

本文提出一种针对联邦强化学习(FRL)系统的安全防御框架SecAgg+,旨在保护安全关键的自动驾驶场景中的FRL模型免受投毒攻击。联邦强化学习允许多个智能体协同学习而不共享原始数据,从而增强隐私和可扩展性,但现存投毒攻击可通过注入恶意系统参数破坏全局控制模型,而这一漏洞在自动驾驶中尚未被充分研究。SecAgg+框架策略性地结合了数字孪生(digital twins)用于排练式学习(rehearsal-based learning),并利用历史聚合模型参数和选定的中心梯度,确保仅聚合良性数据,有效缓解恶意智能体的影响。文章提供了在投毒攻击下SecAgg+收敛性能的理论保证,并通过开发模拟真实高速公路环境的数字孪生进行实验,验证了该框架在对抗条件下对自动驾驶车辆控制的有效性。

💡 推荐理由: 首次针对联邦强化学习在自动驾驶场景中的投毒攻击提出理论保证的防御框架,结合数字孪生技术,对保障智能网联汽车安全具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Marwan Lazrag, Badis Hammi, Lorena Gonzalez-Manzano, Joaquin Garcia-Alfaro

该论文系统评估了针对增强3D点云公共数据集的投毒攻击的操作性影响。随着自动驾驶和联网汽车的发展,3D点云数据被广泛用于训练感知模型,但公共数据集可能遭受投毒攻击,导致分类错误或后门注入。传统观点认为数据增强技术(如旋转、缩放、噪声添加)可以降低投毒攻击的成功率,因为增强过程会稀释恶意样本。然而,该研究通过使用生成对抗网络(GAN)作为数据增强的具体案例,发现投毒攻击能够有效规避增强的净化效应:投毒样本在增强后仍保留恶意特征,并能够传播至整个增强数据集,最终干扰通用分类器的决策。实验基于公开数据集和工具,验证了投毒攻击在增强环境下的持久性和有效性。主要贡献包括:1)明确数据增强并非投毒攻击的绝对防御;2)揭示了GAN增强可能反而助长投毒扩散;3)提供可复现的实验材料。该研究对于自动驾驶感知系统的数据安全具有重要警示意义。

💡 推荐理由: 该研究打破了'数据增强可天然防御投毒'的假设,揭示了自动驾驶3D感知数据管道中的新攻击面,对依赖公共数据集的ASV系统安全有重大警示。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Pei Zhan, Peng Tang 0002, Yangzhuo Li, Puwen Wei, Shanqing Guo

局部差分隐私(LDP)是一种允许用户扰动数据以提供合理否认性的隐私保护技术,但这也使其容易受到投毒攻击。本文首次提出针对排名估计的新型投毒攻击。与简单的频率调整不同,攻击者利用有限数量的假用户精确修改物品频率,从而改变排名以最大化收益。为了应对这一挑战,作者引入了攻击成本和最优攻击物品(集合)的概念,并针对kRR、OUE和OLH三种LDP协议提出了相应策略。对于kRR,采用迭代选择最优攻击物品并分配假用户的方法;对于OUE,迭代确定最优攻击物品集并考虑不同集合间频率的增量变化;对于OLH,基于哈希的原像开发了调和成本函数以支持更多有效攻击物品。此外,还提出了一种基于置信水平的攻击策略,更精确地量化攻击成功概率和迭代次数。通过理论和实验证据证明了攻击的有效性,强调了防御的必要性。代码和数据已开源。本文适合隐私保护、差分隐私安全及数据投毒防御领域的研究人员阅读。

💡 推荐理由: 揭示了LDP在排名估计场景下的重大安全漏洞,攻击者可通过少量假用户操纵排名,威胁依赖LDP的推荐系统、投票统计等应用的隐私与准确性。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 3.5
Conf: 50%
👥 作者: Jan Dolejš, Martin Jureček, Róbert Lórencz

本文研究了针对现代恶意软件检测管道的灰盒投毒攻击模型。现代检测系统通常依赖持续数据摄入和机器学习来应对大量新型威胁。作者利用secml_malware框架,通过功能保留的操纵(具体为导入地址表IAT和节注入)生成问题空间对抗性二进制样本。他们评估了这些投毒样本被摄入到基于LightGBM的恶意软件检测模型训练集时的影响。实验结果表明,基于IAT的微妙扰动能够生成紧凑的投毒样本,显著降低检测召回率。这些发现揭示了在连续学习系统中开发低可视性对抗扰动同时保持高投毒效能的固有挑战。此外,作者评估了一种基于同质集成的防御机制,该机制能够成功识别并过滤高达95.6%的投毒尝试,同时保持对合法数据的高保留率。该工作强调了在生产管道中进行鲁棒的摄入前验证的必要性。本文适合安全工程师、对抗性机器学习研究人员以及恶意软件检测系统的开发人员阅读。

💡 推荐理由: 揭示了现代恶意软件检测管道在持续学习场景下面临的灰盒投毒威胁,并提出了实用的基于集成的防御方法,对保障检测系统鲁棒性具有重要意义。

🎯 建议动作: 研究跟进:将同质集成防御机制纳入内部恶意软件检测管道的预验证阶段。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zehui Tang, Yuchen Liu, Feihu Huang

本文提出了一种针对联邦学习(FL)中拜占庭攻击的多层防御自适应聚合方法(AdaBFL)。联邦学习允许客户端在不共享原始数据的情况下协作训练模型,但其分布式特性使其容易受到投毒攻击,恶意客户端可能提交损坏的模型以操纵全局模型。现有的拜占庭鲁棒方法要么无法平衡对抗多种攻击类型,要么依赖服务器持有数据集。为此,AdaBFL设计了一个新颖的三层防御机制:第一层通过统计检测异常更新,第二层采用加权平均聚合,第三层自适应调整各防御算法的权重以应对复杂攻击。该方法在非凸非独立同分布(non-iid)数据设置下提供了收敛性保证。在多个数据集上的实验表明,AdaBFL在防御效果上优于对比算法,且能有效应对多种攻击类型的混合场景。研究贡献包括:提出自适应多层防御框架、证明收敛性、以及实验验证鲁棒性。适合联邦学习安全研究者及关注隐私保护与鲁棒性的工程师阅读。

💡 推荐理由: 联邦学习中的投毒攻击是实际部署的主要威胁,现有防御往往顾此失彼。AdaBFL的自适应多层机制突破了单一防御的局限,为构建实用化鲁棒聚合方案提供了新思路。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)