👥 作者: Li Zeng, Mingcheng Duan, Longfei Fan, Hangtao Zhang, Xianlong Wang, Yanchun Li, Xia Wen, Leo Yu Zhang
随着自动驾驶等应用的发展,目标检测模型的安全问题日益凸显,其中后门攻击可严重破坏模型完整性。攻击者通过在输入中植入预定义触发器,可导致目标类别被篡改(对象误分类)、边界框被移除(对象消失)或为非存在对象生成边界框(对象生成)。尽管图像分类领域的后门防御已相对成熟,但针对目标检测的后门防御研究仍显不足。现有防御方法通常通过扫描输出或模型来检测潜在后门,但需要丢弃恶意数据或模型,无法维持目标检测流水线持续、准确的感知流。为此,论文提出 ODPure——一种新颖的输入阶段黑盒防御方法,基于输入净化来确保稳定的感知流。针对目标检测器的密集预测特性,作者设计了“损坏-重建-选择”(Corruption-Reconstruction-Selection, CRS)范式:首先通过多样化的损坏组合中和触发器,生成大量冗余候选框;然后利用生成先验恢复细粒度结构线索;最后通过投票机制对检测结果达成共识。大量实验表明,该方法能够对多种后门攻击和触发器类型提供鲁棒防御,同时保持基线准确率。代码已开源。
💡 推荐理由: 目标检测后门防御长期被忽视,而 ODPure 提供了一种无需丢弃数据或模型的输入净化方案,可保障自动驾驶等场景下感知流的连续性,对蓝队构建检测流水线防御有参考价值。
🎯 建议动作: 研究跟进并评估集成到现有检测流水线的可行性
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Fei Yuan, Yantian Shen, Qingyuan Yu, Yi Chen, Binghui Wang, Hongbo Yu, Anyu Wang, Xiaoyun Wang
该论文研究的是深度神经网络在黑盒设定下的定向对抗攻击问题,属于对抗机器学习领域兼具理论难度与工程意义的课题。背景是:DNN 对微小扰动敏感,而攻击按信息可见性可分为白盒与黑盒;黑盒中又以 decision-based(仅返回 top-1 标签)的定向攻击最为困难——攻击者既看不到梯度与置信度,又必须让模型在扰动受约束的前提下预测一个事先指定的目标类别。作者指出现有方法的主要瓶颈出现在扰动精修之前的初始化阶段:必须先找到一个能够把样本推入目标类决策区域的可行方向,而这一步往往消耗掉绝大部分查询预算,导致在低查询预算下成功率极低。为此论文提出 GuidedRay,一种基于多样性引导方向发现的定向 decision-based 攻击框架。其设计建立在两个观察之上:其一,目标类别的参考样本能够提供以目标为条件的方向先验,使搜索不再是盲目的;其二,候选样本越多样,命中某个真正指向目标区域的方向的概率就越高,从而避免在单一方向上反复浪费查询。方法上,GuidedRay 从一个或多个目标类参考样本出发生成多个风格各异的候选样本,再用一次查询即可完成的 Fast Test 快速筛选这些候选所诱导的符号方向,筛掉明显不可行的候选;一旦确认存在可行方向,就用 Ray Search 沿着该方向不断缩减到决策边界的半径,从而在有限的扰动预算内完成定向攻击,同时把查询开销集中于最有希望的方向上。实验部分在 CIFAR-10、CIFAR-100 与 ImageNet 三个数据集上展开,在 500 到 5000 四个查询预算档位上与五种当前最优的 decision-based 攻击进行对比,GuidedRay 在所有档位均取得更好的表现,尤其在初始化阶段的方向发现效率上优势显著,说明查询预算越紧张收益越明显;此外,面对采用对抗训练或 TRADES 加固的模型,它在四个查询预算下同样取得最高的攻击成功率,表明该方向先验与多样性策略对鲁棒模型也能奏效。整体而言,论文的核心贡献在于把黑盒定向攻击的瓶颈从“扰动精修”重新定位到“方向发现”,并给出了一个查询高效的工程化方案,适合对抗鲁棒性研究者、模型安全评估与红队人员阅读。
💡 推荐理由: 该工作说明仅凭 top-1 标签、在数百次查询的低预算下也能实现定向攻击,且对对抗训练与 TRADES 加固的模型依然有效。这意味着面向外部用户开放的模型推理接口在查询受限场景下的安全边界可能被高估,鲁棒性评测需要补充低查询预算的定向攻击基准,而不是只测白盒或高预算场景。
🎯 建议动作: 研究跟进:将其纳入内部对抗鲁棒性评估的方法清单,针对对外暴露的模型接口补充低查询预算定向攻击的基准测试与查询行为监测规则。
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Kaifa Zhao, Hao Zhou 0043, Yulin Zhu 0001, Xian Zhan, Kai Zhou 0001, Jianfeng Li 0006, Le Yu 0002, Wei Yuan 0001, Xiapu Luo
恶意软件检测技术通过对恶意软件语义进行深度分析获得了巨大成功。在已有检测技术中,基于函数调用图(FCG)的方法因为能直观刻画恶意软件的功能特性而表现出良好的检测性能。与此同时,近年来的对抗性攻击研究不仅通过只扰动特征向量来迷惑分类器(即特征空间攻击),也开始注重如何生成真实可逃避检测的恶意样本(即问题空间攻击)。然而,现有的问题空间攻击往往存在特征空间与问题空间之间转化不一致的缺陷,即修改后的特征表示无法在真实程序结构中同步得到合理对应,导致攻击效果受限。针对该问题,本篇论文(标题为“Structural Attack against Graph Based Android Malware Detection”)提出了一种针对基于图的Android恶意软件检测的结构性攻击思路,核心思想可能在函数调用图等图结构层面引入可控扰动,使图结构的改变与恶意功能的保持保持一致,从而生成能够绕过基于图神经网络的检测器的恶意样本。但需要说明,由于本信息仅来源于论文摘要,摘要中并未给出具体的攻击实现细节、防御对策或实验数据,因此上述关于“提出方法”的表述是基于标题与问题背景的合理推断。读者若需掌握具体技术路线,应进一步阅读论文全文。
💡 推荐理由: 该研究揭示了基于函数调用图的Android恶意检测模型可能被图结构扰动绕过,防御者需警惕对抗样本对移动安全检测体系的实际威胁。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Md Ajwad Akil, Adrian Shuai Li, Imtiaz Karim, Arun Iyengar, Ashish Kundu, Elisa Bertino
论文《PhantomCall: Evading ML Malware Detectors via Function Call Graph Perturbation》研究了面向Windows PE恶意软件机器学习检测器的对抗攻击。现有攻击通常针对原始字节、PE头或函数内部控制流图(CFG),但尚未将函数调用图(FCG)作为攻击面。FCG是图基恶意软件检测器的重要特征。作者提出PhantomCall,这是一种黑盒攻击方法,通过向目标调用点注入完全可执行的虚拟函数来扰动FCG,从而在CFG与FCG中新增节点和边,同时保持程序语义。该方法结合了分类器引导搜索和可调节的注入参数,能够应对三种架构迥异的分类器。实验基于2025年收集的Windows恶意软件语料库,针对MalConv(原始字节CNN)、MalGraph(图基GNN)以及SAFE+GNN(在2024年语料库上从头训练的纯FCG GNN)进行评估,并在两种FPR阈值下测试。结果显示,最佳PhantomCall变体在所有配置下的攻击成功率达85%至100%,在MalGraph上比此前最优方法最多高出14.78个百分点,在SAFE+GNN上最多高出95.5个百分点,同时平均生成逃逸变体的速度比此前方法快达2.9倍。对于MalConv和MalGraph,大多数逃逸仅需修改单个调用点;此外,在全部配置中,86%至97%的评估逃逸变体在基于沙箱的语义测试中保留了原始恶意行为。该研究首次系统地证明了FCG扰动可作为一种高效的对抗攻击表面,对依赖图神经网络的恶意软件检测器构成显著威胁。
💡 推荐理由: 该攻击表明,基于函数调用图的图神经网络恶意软件检测器存在鲁棒性盲区。只需最小化扰动即可实现高逃逸率,可能影响下一代EDR/端点防护中采用图模型的产品。安全团队需重新评估此类模型的对抗风险,并考虑在模型训练和部署中融入该攻击模式。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Maximilian Noppel, Christian Wressnegger
本文是一篇关于对抗环境下可解释机器学习(Explainable Machine Learning)的系统化综述(SoK)。近年来,后验解释方法使得深度学习模型等'黑盒'决策过程可以实现精确的特征归因,这引发了利用这些方法来检测对抗样本或神经后门等攻击的期望。然而,现有的解释方法本身并不具备对抗鲁棒性,攻击者可能操纵解释结果。本文旨在系统地分类针对后验解释方法的攻击,为开发更稳健的可解释机器学习奠定基础。作者提出了一个解释感知的鲁棒性概念层次结构,并将现有防御措施映射到该层次结构中,从而揭示了防御措施之间的协同作用、研究空白以及未来方向。核心主张是:如果解释方法不能被攻击者误导,它们就可以成为对抗机器学习中的有效工具,标志着重要转折点。本工作面向机器学习安全领域的研究者,为其提供了系统化的视角,以理解可解释性的安全挑战。
💡 推荐理由: 对于依赖可解释性进行安全分析的工程师,此研究揭示了当前解释方法易受操纵的弱点。若将不鲁棒的解释方法用于检测对抗攻击,可能产生错误结论。了解这些攻击有助于选择更可靠的辅助工具。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hai Huang 0014, Jiaming Mu, Neil Zhenqiang Gong, Qi Li 0002, Bin Liu 0045, Mingwei Xu
推荐系统在各类在线服务中帮助用户发现感兴趣内容,基于深度学习的推荐系统因性能优势日益普及。然而,这类系统的安全性鲜有研究。本文首次系统研究针对深度学习推荐系统的数据投毒攻击。攻击者通过注入精心构造评分的虚假用户,操纵系统输出,使攻击者选定的目标物品被推荐给大量正常用户。作者将攻击建模为一个优化问题,目标是最大化正常用户收到目标物品推荐的数量,但该问题属非凸整数规划,难以精确求解。为此,作者提出多种启发式或近似技术来高效求解。在三个真实数据集(含小规模与大规模)上进行实验,结果表明所提攻击成功率显著优于已有攻击方案。此外,作者还尝试基于评分模式统计特征区分正常用户与虚假用户,以检测此类攻击;但实验显示即便部署此类检测器,攻击依然有效,且仍强于现有攻击。该研究揭示了深度学习推荐系统的数据依赖脆弱性:攻击者无需访问模型内部,仅通过向系统注入少量伪造评分即可实现攻击目标。其主要贡献包括:首次系统性定义并研究该问题、提出可扩展的攻击优化框架、验证了攻击的有效性与检测的困难性。对于推荐系统开发者和安全从业者而言,理解此类攻击机制对构建健壮的推荐服务至关重要。
💡 推荐理由: 深度学习推荐系统已广泛应用于电商、内容平台,数据投毒攻击可直接操纵用户看到的推荐内容,导致恶意推广或商业利益受损。本研究首次系统揭露该类系统的数据面风险,为蓝队评估自身推荐服务安全性和设计检测机制提供了基础研究支撑。
🎯 建议动作: 研究跟进:该攻击展示了深度学习推荐系统的数据投毒风险,建议跟踪后续防御研究,并在内部评估自身推荐系统对此类攻击的暴露面。
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Lovisa Eriksson, Dave Zachariah, André M. H. Teixeira
这篇论文关注预测模型在虚假数据注入攻击下的鲁棒性问题。尽管已有检测方案和对抗训练方法被提出,但它们往往无法为隐蔽攻击提供理论保证——即攻击者设计的最优攻击策略可能轻易绕过检测器。为此,作者提出了一种基于检测器的切换模型(detector-based switched model),该模型在检测到攻击时切换到更安全的预测模式,从而使得攻击者的最优攻击策略变得“隐蔽”反而受限。针对线性预测模型,作者推导了该切换模型所对应的对抗风险的凸优化表达式,这使得训练过程可高效求解。模型中额外引入受保护特征(protected features),并设置一个超参数来建模攻击发生的概率,从而在正常数据与受攻击数据之间实现显式的性能权衡。数值实验在真实数据集和合成数据上进行,结果表明,即使攻击概率估计不准确,该模型在部分受攻击的数据上仍能获得比传统方法更优的预测性能。本文的核心贡献在于:首次为隐蔽攻击下的对抗训练提供了具有可计算保证的框架,并通过切换机制将检测器与预测器联合优化,为线性模型的安全预测提供了新思路。适合机器学习安全、控制理论与网络物理系统交叉领域的研究人员阅读。
💡 推荐理由: 当前对抗训练多缺乏对隐蔽攻击的理论保障,本文提出可解的凸优化框架,为构建对虚假数据注入攻击鲁棒的预测模型提供了新路径,对安全防御者设计检测与预测联合方案有参考价值。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zizhi Jin, Xiaoyu Ji 0001, Yushi Cheng, Bo Yang, Chen Yan 0001, Wenyuan Xu 0001
本文提出了一种针对自动驾驶车辆中基于LiDAR的三维目标检测系统的物理激光攻击方法。研究背景是:现有对LiDAR点云欺骗的研究大多在数字域进行,缺乏物理可实现性。作者设计了一个激光收发器,能够注入多达4200个点,比此前工作高20倍,并能测量受害者LiDAR的扫描周期以同步注入信号。通过将点云坐标转换为控制信号的方法,以及考虑LiDAR物理特性和攻击能力约束的对抗点云优化方法,实现了在物理世界中向受害者LiDAR注入具有期望形状的欺骗点云。论文展示了四种攻击类型:简单隐藏、基于记录的创建、基于优化的隐藏和基于优化的创建。实验针对两款商用LiDAR和三种检测器验证了攻击有效性,并从传感器和自动驾驶系统层面讨论了防御策略。该研究揭示了LiDAR感知链路在物理层面的安全脆弱性,对自动驾驶安全设计具有重要参考价值。
💡 推荐理由: 该研究首次系统性地实现了物理层面针对LiDAR的对抗点云注入,直接影响自动驾驶感知安全,提醒防御者不能只依赖数字域鲁棒性,必须考虑物理攻击的可行性。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yueyang Quan, Anjun Gao, Yufei Xia, Minghong Fang, Zhuqing Liu
检索增强生成(RAG)通过引入外部文档来提升大语言模型的事实性,但同时也引入了新的安全攻击面:恶意攻击者可以向知识库注入经过精心构造的对抗性文档,这些文档一旦被检索并进入上下文窗口,就可能引导模型输出特定的错误答案。现有的后检索防御手段,例如指令跟随、依赖参数化知识或基于文本一致性的校验,均存在被自适应攻击者模仿或针对优化的风险。本文提出 RAGSentinel——一种无需训练、无需标签的防御方法,适用于黑盒 RAG 系统。RAGSentinel 利用一个代理编码器来度量在给定查询条件下,检索文档所引发的隐藏状态偏移;通过移除共享的主题方向,它将有毒文档视为几何离群点,并基于鲁棒多数共识将其过滤掉。作者从理论上证明了:在诚实多数假设和表示层分离条件下,RAGSentinel 能够精确恢复无毒的多数规模上下文。实验覆盖三个问答数据集、三个大语言模型家族以及多种投毒攻击方式,结果显示 RAGSentinel 始终能够保持较低的攻击成功率,同时不损害正常的回答准确率;即使面对对整体流程完全知情的自适应攻击,该防御仍然有效。本文的核心贡献在于提出了一种可认证的、几何共识驱动的 RAG 防御框架,显著提升了对检索投毒攻击的韧性,且不依赖特定的模型内部结构,具有良好的可迁移性。适合关注大模型安全、检索增强系统防护和对抗机器学习的研究者与安全工程师阅读。
💡 推荐理由: 针对 RAG 的检索投毒是当前 LLM 应用面临的重要威胁之一。RAGSentinel 提供了一种免训练、可认证的后检索防御思路,不依赖模型可解释性,能直接适配黑盒系统,对蓝队提升实际 RAG 管线的抗攻击能力有直接参考价值。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yuwen Cui, Kai Wei, Kehan Shen, Ning Wang, Zhuo Lu, Yao Liu, Guangjing Wang
本论文针对 Tor 网站指纹识别(WF)攻击提出一种鲁棒防御方法 Chameleon。WF 攻击利用加密流量的侧信道特征推断用户访问的网页,现有防御大多会留下可学习的流量映射模式。作者发现,现有防御对对抗训练鲁棒,但对基于防御感知自编码器(DAAE)的攻击并不鲁棒。为此,Chameleon 采用多对多随机流量变形:先选择类内差异大、类间差异小的变形候选;对每个网页流量随机映射到多个候选目标,并允许不同网页共享变形目标,从而增大攻击者的不确定性。面向实际 Tor 部署,Chameleon 引入基于基数树(radix-trie)的同步机制,允许可插拔传输(PT)端点通过数据包方向前缀识别一致的变形轨迹,并结合轨迹变异与归一化前缀匹配降低开销。作者在三个公开数据集上,针对六种 SOTA 防御和五种 WF 攻击进行封闭式与开放式评估。结果显示:相比 Adaptive Tamaraw,Chameleon 可将基于对抗训练的攻防准确率降低最多 36.74%,同时带宽开销降低 34.12%,时间开销降低 60.38%;在 GTT23 数据集上针对基于 DAAE 的随机森林攻击,Chameleon 将攻击 F1 限制在 35.19%,而 Adaptive Tamaraw 仅能限制到 88.22% 的 F1。在实际 PT 桥接评估中,Chameleon 在仅增加 16.25% 时间开销的情况下显著削弱强 WF 攻击的效果。该研究适合关注匿名通信安全、流量分析防御以及对抗机器学习的研究人员阅读,其核心贡献在于提出一种可实际部署的流量变形方案,同时兼顾鲁棒性与开销。
💡 推荐理由: WF 攻击威胁 Tor 用户的匿名性,现有防御普遍存在可学习映射缺陷。Chameleon 首次系统应对 DAAE 类新型攻击,并给出可落地 PT 桥接实现,对提升匿名通信抗流量分析能力具有重要参考价值。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ningfei Wang, Shaoyuan Xie, Takami Sato, Yunpeng Luo, Kaidi Xu, Qi Alfred Chen
交通标志识别(TSR)系统对于安全、正确的自动驾驶至关重要。近年来,学术界对TSR模型的物理世界对抗攻击研究显示出这类攻击具有低成本、高可部署性,并能造成严重后果(如隐藏关键交通标志或伪造虚假标志)。然而,现有研究大多仅在学术模型上评估攻击效果,对真实商业TSR系统的影响知之甚少。本文首次对商业TSR系统进行了大规模物理世界对抗攻击测量。测试结果显示,某些学术攻击方法确实能在特定商业TSR系统功能上达到100%的攻击成功率,但该能力并不具备泛化性,整体攻击成功率远低于预期。作者发现一个潜在的关键因素:当前商业TSR系统中普遍存在的“空间记忆”设计(spatial memorization design)。该设计会在系统级影响攻击的实际生效过程。为准确刻画这一影响,作者设计了新的攻击成功率指标,能够数学化地建模该设计对TSR系统级攻击成功率的修正,并利用这些指标重新审视现有攻击方法。通过上述工作,作者总结出7项新观察,其中部分观察因为新指标的引入,直接挑战了既往研究中的结论或主张。这项研究填补了学术攻击研究与商业系统现实差异之间的空白,为评估自动驾驶感知系统的真实对抗风险提供了新视角,并为后续设计更贴近实际部署的鲁棒性测试与防御策略奠定了基础。适合自动驾驶安全研究人员、TSR系统开发商以及关注物理世界对抗攻击的AI安全从业者阅读。
💡 推荐理由: 该研究首次聚焦商业TSR系统,揭示了学术攻击效果与真实系统之间的显著鸿沟,并识别出“空间记忆”设计这一关键因素。对评估自动驾驶真实安全风险、优化系统级防御有直接参考价值。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Shawn Shan, Wenxin Ding, Josephine Passananti, Stanley Wu, Haitao Zheng 0001, Ben Y. Zhao
该论文针对基于扩散模型的文生图模型,提出了一种名为 Nightshade 的提示词特异性投毒攻击方法。研究背景是:扩散模型通常在数十亿张图像上训练,传统的数据投毒攻击往往需要污染近 20% 的训练样本才能生效,因此被认为对这类模型几乎无效。但作者指出两点关键洞察:第一,虽然模型训练数据规模巨大,但针对某一个具体概念或提示词的训练样本数量通常只有数千张,这为针对特定提示词的投毒攻击提供了可行性;第二,投毒样本可以被精心构造以最大化攻击效力,从而用极少量样本实现成功攻击。基于这些洞察,Nightshade 攻击被设计为一种高效能、提示词特异性的投毒方法。实验表明,在 Stable Diffusion 最新模型 SDXL 上,仅用不到 100 个投毒训练样本就能完全控制某个特定提示词的生成输出。Nightshade 生成的投毒图像在视觉上与正常图像几乎无法区分,具有很强的隐蔽性;并且投毒效果可以“渗透”到相关概念,即影响与目标提示词语义相近的生成结果。更重要的是,对多个独立提示词进行中等规模的 Nightshade 攻击,可以破坏模型的整体稳定性,导致模型对所有提示词都无法正常生成图像。论文最后提出,Nightshade 这类工具可以被内容所有者用作防御手段,以对抗那些无视 opt-out 或 do-not-crawl 指令的网页爬虫。文章讨论了该攻击对模型训练者和内容所有者的潜在影响,包括训练方可能面临的供应链风险以及内容所有者可获得的保护能力。该研究主要面向深度学习安全、生成模型安全以及数据治理领域的研究者,也适用于模型训练平台和内容版权方理解并缓解此类威胁。
💡 推荐理由: 该研究表明文生图模型并非对数据投毒免疫,少量高质量投毒样本即可破坏特定提示词乃至整个模型的生成能力,对依赖大规模爬取数据训练模型的公司构成现实供应链风险,也启发内容所有者的新型防御思路。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ziqi Zhao, Jialin Lu, Junjie Shan, Junyuan Zhang, Shuya Yang, Ka-Ho Chow
垂直联邦学习(VFL)允许多个组织在不共享原始数据的前提下,基于同一组样本的不同特征协作训练模型。与水平联邦学习不同,VFL 中存在典型的非对称信息结构:发起方掌握学习任务定义(如标签),而参与方仅持有局部特征,这种结构顺应了日益增长的隐私保护需求。然而,非对称性也带来了独特的安全隐患,其中后门攻击尤为突出:恶意参与方不仅可以在训练阶段向模型注入投毒样本,还能够在推理阶段激活后门以操控预测结果。尽管已有研究声称后门攻击能达到接近完美的成功率,并提出了多种防御机制,本文作者通过系统性实验发现,这些结论在真实条件下大多不成立,暴露了研究与实际应用之间的明显差距。本文从实践导向出发,系统研究了 VFL 中的后门漏洞,指出现有方法在方法论设计和评估实践两方面都存在缺陷:它们忽略关键的实际约束,依赖不切实际的先验知识;同时,文献中不良的评估设计掩盖了这些局限。为了弥合这一差距,作者在现实约束下重新定义了威胁模型,提出了面向实践的后门攻击工作流,并构建了一个以 VFL 后门为中心的基准测试平台 BVBench。该基准预置了多种当前最先进的后门攻击与防御基线,旨在提供公平、实用、全面的评估框架。实验结果表明,当前对 VFL 后门风险的理解是脆弱的,许多先前结论无法在现实设置中复现。本研究为后续研究者识别真实可行的漏洞、设计更有效的防御机制提供了坚实基础,尤其适合关注机器学习安全、隐私计算以及联邦学习实际部署中对抗威胁的研究人员和工程人员阅读。
💡 推荐理由: 该研究揭示了 VFL 后门攻击研究长期依赖不现实假设,导致防御措施对真实攻击失效;对安全工程师而言,理解评估陷阱有助于在部署联邦学习前正确设计威胁模型与基线测试。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xiangxiang Chen 0002, Peixin Zhang 0001, Jun Sun 0001, Wenhai Wang, Jingyi Wang 0004
本文提出了一种名为 QURA 的新型后门攻击方法,其核心攻击面是深度学习模型的量化(quantization)过程。模型量化通常被用于在资源受限环境(如嵌入式设备、移动端)中部署模型,以降低存储和计算开销。然而,作者指出这一过程本身可能引入此前被忽视的安全风险。与传统后门攻击依赖训练数据投毒或模型训练阶段操纵不同,QURA 仅通过操控量化过程中的舍入(rounding)操作即可在模型中嵌入恶意行为。具体而言,QURA 首先设计了一种权重选择策略,从预训练模型中识别出对后门目标影响最大、同时尽量不损害模型整体性能的关键权重;随后,通过优化这些权重的舍入方向,在多个层内逐步放大后门效应,同时保持模型的正常精度。实验结果表明,在大多数场景下 QURA 的攻击成功率接近 100%,且模型性能下降可忽略不计。此外,作者还展示了 QURA 能够自适应地绕过现有的后门防御机制,凸显了其潜在威胁。该研究揭示了广泛使用的模型量化流程中存在的关键安全漏洞,强调了在部署量化模型时需要更强的安全防护措施。代码已在 GitHub 上开源。本文适合模型部署工程师、AI安全研究员以及关注供应链安全的蓝队人员阅读,以理解量化环节可能引入的新型攻击面。
💡 推荐理由: 模型量化是边缘部署的标准步骤,但其安全影响常被忽视。QURA 表明无需篡改训练数据或训练过程,仅操纵量化舍入即可植入后门,扩大了攻击面,且能绕过现有防御,值得AI安全与供应链安全从业者警惕。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Cheng Chu, Qian Lou, Fan Chen 0001, Lei Jiang 0001
该论文提出了一种针对量子机器学习的新型攻击方法,名为 QNBAD(Quantum Noise-induced Backdoor Attack),专门攻击采用零噪声外推(ZNE)作为误差缓解技术的量子神经网络。研究背景是:ZNE 是当前量子计算中广泛使用的误差缓解手段,通过在噪声放大条件下运行电路并外推零噪声结果来提升模型可靠性。然而,作者发现 ZNE 的降噪过程本身存在安全漏洞,攻击者可以刻意将恶意设计的后门模式嵌入到量子噪声中,使模型在含噪环境下对正常输入表现正常,而一旦在推理阶段输入携带特定触发特征的数据,模型便会误分类为攻击者指定的目标标签,同时不影响 ZNE 对整体输出的修正效果。该攻击利用了 ZNE 对噪声模型的线性外推假设,通过调整噪声通道参数来隐藏后门触发条件。实验表明,QNBAD 在多个量子数据集和电路结构上均能保持较高的攻击成功率,同时能够规避现有的噪声感知防御机制。本研究的核心贡献在于首次揭示了量子误差缓解技术与模型安全性之间的冲突,提醒量子机器学习社区在设计防护策略时需将攻防对抗纳入考量。适合量子安全研究者、量子机器学习工程师以及关注新兴计算范式安全威胁的蓝队人员阅读。
💡 推荐理由: 量子机器学习尚处早期,但若量子云服务采用 ZNE 作为默认缓解,QNBAD 揭示的漏洞可能导致外包量子模型被植入后门,影响金融、制药等未来量子应用的安全基石。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zilong Lin 0001, Zhengyi Li, Xiaojing Liao, XiaoFeng Wang 0001, Xiaozhong Liu 0001
本文首次系统研究了针对维基百科的自动化黑帽搜索引擎优化(SEO)攻击,即对抗性维基搜索投毒(MAWSEO),用于非法在线推广。攻击者通过恶意编辑维基百科条目,使相关查询的搜索结果中出现推广非法业务的链接。该工作将此类破坏性编辑自动化,提出MAWSEO技术,利用对抗性修订同时满足多个目标:提升目标页面的搜索排名、规避维基百科内置的破坏检测系统、保持编辑内容的主题相关性与语义一致性,并让普通用户感知到推广内容但又不引起警觉。作者通过大规模评估和用户研究证明,MAWSEO能够高效生成对抗性编辑,不仅绕过当前最先进的破坏检测器(如ORES),还能成功将推广信息传递给维基用户而不触发警报。此外,论文还探索了防御措施,包括基于连贯性的检测方法和对抗训练破坏检测模型,用以抵抗此类攻击。该研究揭示了UGC平台在搜索投毒与内容治理方面的新兴威胁,表明黑帽SEO可以高度自动化,并为相关平台的安全防护提供了重要参考。适合关注搜索引擎优化安全、内容审核对抗攻击及在线广告欺诈的研究人员和蓝队分析师阅读。
💡 推荐理由: 该研究展示了维基百科等UGC平台面临的新型自动化搜索投毒攻击,可能被用于非法商业推广,直接影响搜索结果可信度和用户信任,且能规避现有检测机制,值得安全运营者密切关注。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ruoyu Wang, Heng Zhao, Renjie Wu, Mengnan Zhao, Zhixuan Chu, Wanyu Lin, Tianhang Zheng
该论文针对大语言模型(LLM)驱动的自主渗透测试代理提出了一种新型动态欺骗防御系统 AgentSnare。LLM 代理通过“观察-行动”循环与工具交互:代理选择动作,工具返回观察结果,代理再基于观察继续决策。这种依赖关系使得防御方可以注入欺骗性观察来误导代理的决策。然而,现有防御方法通常依赖攻击前静态部署在环境中的孤立诱饵,高级代理能够逐步识别并绕过这些静态痕迹,最终将利用尝试重新聚焦到真实目标上。为解决此问题,AgentSnare 构建了一个轨迹自适应的欺骗系统,能够动态展开诱饵环境,持续将渗透代理从真实目标引开。其核心是一个“诱饵构造策略模型”,该模型根据代理的交互历史和当前诱饵状态,生成候选诱饵构件(如虚假服务、虚假文件或虚假漏洞信息);随后系统验证这些候选构件的语义一致性,并增量地将有效构件融入一个事实一致的诱饵环境中。通过这种方式,AgentSnare 实现了三个目标:吸收(absorbing)代理的工具调用,使其在诱饵环境中消耗资源;转移(diverting)代理进入诱饵后的行动轨迹,使其偏离真实目标;以及解除(defusing)攻击,通过诱导代理基于诱饵证据生成完成报告,从而让攻击者认为任务已完成。实验基于 CVE-Bench 中的 15 个 Web 应用程序和三种攻击者模型,结果显示 AgentSnare 吸收了代理 46.8% 的工具调用,保留了 55.9% 的进入后(post-entry)行动在诱饵中,90.0% 的完成尝试基于诱饵证据;在全部 45 个攻击者-CVE 组合中,pass@3 指标下没有任何真实目标被成功利用。该研究为防御方提供了一种可动态适应攻击者行为的主动欺骗思路,适用于 LLM 驱动的自动化攻击场景。适合关注 AI 安全、自主代理防御、渗透测试对抗的研究人员和蓝队工程师阅读。
💡 推荐理由: LLM 代理正在被用于自动化渗透测试,传统静态诱饵容易失效。AgentSnare 提出了动态、轨迹自适应的欺骗方法,能显著降低真实目标被攻破的风险,为蓝队应对 AI 自动化攻击提供了新思路。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Khawaja Abaid Ullah, Mohammad Javad Khojasteh
该论文研究了分类模型中的反蒸馏采样问题。知识蒸馏攻击中,攻击者通过查询目标分类器的预测接口,利用返回的概率向量训练一个替代模型,从而窃取模型功能。此前针对大语言模型提出的反蒸馏采样方法通过输入相关的梯度导向扰动来防御此类攻击,但该方法在分类任务中的迁移尚未被研究。本文首先将反蒸馏采样迁移至分类场景,并发现其行为由教师模型每个输入上的置信度边际分布决定。由于训练良好的分类器存在严重的过度自信现象,直接迁移会导致一个“惰性窗口”:当扰动低于某个可闭式预测的阈值时,既不阻碍攻击者也不保护防御者;超过阈值后,防御发生相变,对教师模型的退化速度快于攻击者的学生模型。温度软化可以在闭式上缩放该相变点,但所有温度配置都位于相同的不利权衡曲线上。为此,作者提出ADS-C方法,在闭式每个输入边际预算下组合扰动,该预算可证明保留每个服务的top-1预测,因此防御后的教师准确度与未防御教师完全一致。在该保证下,蒸馏学生模型在CIFAR-100上仍损失17.4个百分点,CIFAR-10上损失29.6个百分点,Tiny-ImageNet上损失13.3个百分点;而使用未经修改的防御达到相同的学生退化程度则需要牺牲教师27.5、32.9和22.2个百分点的准确度。由于服务标签不变,硬标签攻击者无法获益,而防御后的软输出训练的学生模型准确度甚至低于硬标签底线(最多低29.7个百分点):蒸馏服务概率的动机不仅被消除,反而被逆转。据作者所知,ADS-C是第一个效用成本恰好为零的分类反蒸馏防御方法。
💡 推荐理由: 提出首个零效用损失的反蒸馏防御,有效防止攻击者通过概率查询复制分类器,同时不牺牲原始模型准确度,对保护商业或敏感分类模型具有重要意义。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zayd Hammoudeh, Daniel Lowd
本文研究训练集攻击(如数据投毒)的目标识别问题。攻击者通过修改部分训练样本,使模型对特定测试样本产生错误预测。现有防御主要检测中毒样本,但难以定位攻击者试图破坏的具体目标。作者提出基于重归一化影响估计(Renormalized Influence Estimation)的方法,通过修正影响函数在中毒数据下的偏差,准确识别攻击目标。核心思路是计算每个训练样本对目标测试样本的贡献,并利用重归一化消除中毒样本间的相互干扰,从而定位最具恶性影响的训练样本。实验在多个数据集和攻击场景下验证,该方法能高效且高精度地识别攻击目标,优于基线方法。该工作首次将影响函数应用于训练集攻击目标识别,为机器学习安全提供了新视角。
💡 推荐理由: 训练集攻击是机器学习安全的核心威胁,识别攻击目标可帮助防御者快速响应、定位受损资产,提升ML系统的可信与可控性。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xiaoyu Ji 0001, Yushi Cheng, Yuepeng Zhang, Kai Wang 0073, Chen Yan 0001, Wenyuan Xu 0001, Kevin Fu
该论文提出了一种名为“Poltergeist”的新型声学对抗机器学习攻击,针对配备图像稳定器的摄像头和计算机视觉系统。研究背景是自动驾驶车辆依赖基于计算机视觉的目标检测系统来感知环境并做出驾驶决策,而图像稳定器(通常包含惯性传感器)被用于减少摄像头抖动导致的图像模糊。然而,论文发现了一个系统级漏洞:攻击者通过发射精心设计的声学信号,可以操控惯性传感器的输出,触发不必要的运动补偿,即使摄像头本身稳定,也会产生模糊图像。这些模糊图像进而导致目标检测算法(如YOLO V3/V4/V5、Fast R-CNN以及百度Apollo)产生误分类,影响安全关键决策。论文建模了这种声学操控的可行性,并设计了攻击框架,能够实现三类攻击:隐藏对象(使检测器忽略真实物体)、创建对象(让检测器误认为存在虚假物体)以及改变对象(将物体误分类为其他类别)。实验评估证明了攻击的有效性。论文进一步提出了“AMpLe攻击”的概念,即一类新的系统级安全漏洞,源于对抗性机器学习与物理注入信息承载信号到硬件的结合。该研究揭示了硬件与软件交叉领域的新攻击面,对自动驾驶、安防监控等依赖视觉感知的系统的安全性提出了警示。
💡 推荐理由: 该研究揭示了物理世界声学攻击可绕过图像稳定器并干扰视觉AI系统,对自动驾驶等安全关键应用构成现实威胁,需业界重视硬件与算法协同防御。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Qingwen Zeng, Zhenghao Zhao, Yitian Yang, Yiqi Zhu, Fangchen Liu, Zhaoge Bi, Moe Thandar Kyaw Wynn, Kim-Kwang Raymond Choo, Huaming Chen
该论文是一篇针对金融科技(Fintech)领域人工智能系统可信赖性的综述研究。作者指出,当前人工智能已深度嵌入金融AI管道的各个环节(训练与更新、部署与推理、操作与监控反馈),然而这些管道在提供自动化与规模化优势的同时,也引入了新的攻击面——微小的算法扰动可能被放大为持续的系统级金融危害。现有综述要么将AI视为防御工具,要么以领域无关的方式分析对抗性机器学习,忽略了金融特有的约束条件(如会计合理性、非独立同分布联邦数据、持续重训练以及自动化放大的下游效应)。
为此,论文提出了一个统一的、以生命周期为中心且机制驱动的分析框架。首先,将金融AI划分为三个生命周期阶段:训练与更新、部署与推理、操作/监控/反馈。然后,提出了“金融AI安全与鲁棒性分类法”(Financial AI Security and Robustness Taxonomy),系统整理了17种攻击子类型,涵盖数据与模型投毒、针对决策边界的对抗攻击、LLM中介工作流中的提示注入、以及深度伪造对KYC验证层的颠覆。针对每种子类型,论文分析了其算法策略、可行性约束、隐蔽性与持久性,以及下游金融后果。
最后,论文识别了当前开放挑战,并规划了面向生命周期感知的压力测试和金融相关鲁棒性基准的研究议程。该工作适合金融安全研究人员、AI安全工程师以及金融监管科技从业者阅读,有助于系统性理解金融AI面临的安全威胁并指导防御设计。
💡 推荐理由: 本文首次从金融特有的约束视角系统梳理AI管道各环节的攻击面,弥补了现有综述领域无关的缺陷,为金融行业AI安全风险评估提供了结构化分类法,有助于蓝队识别和应对定制化威胁。
🎯 建议动作: 研究跟进,纳入内部威胁建模参考。
排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Kaixiang Zhao, Bolin Shen, Yuyang Dai, Shayok Chakraborty, Yushun Dong
该论文提出了 GraphIP-Bench,一个用于系统评估图神经网络(GNN)模型窃取攻击与防御的统一基准。作者指出,现有研究因数据集、威胁模型和评估指标不一致而无法回答“窃取GNN有多难”以及“能否阻止”这两个关键问题。GraphIP-Bench 在统一的黑盒协议下集成了12种模型提取攻击、12种防御方法(涵盖水印、输出扰动和查询模式检测三类)、10个公开图数据集(包含同质、异质和大规模图)、3种GNN骨干网络和3种图学习任务,并报告了保真度、任务效用、所有权验证和计算成本等指标。此外,还增加了联合攻击-防御赛道,对每个受保护目标运行所有攻击,并测量提取后替代模型上的水印验证效果。实验结果表明:在中等查询预算下,窃取GNN很容易,且大多数防御未能改变这一现状;多种水印在受保护模型上可靠验证,但在提取的替代模型上几乎失去验证信号,这暴露了单一模型评估遗漏的漏洞;异质图更难以窃取,而目标与替代模型之间的跨架构不匹配会降低但无法阻止提取。论文提供了开源代码。该研究对安全从业者理解GNN模型窃取风险及评估防御有效性具有重要参考价值。
💡 推荐理由: GNN云服务面临模型窃取攻击威胁,而现有评估缺乏统一标准。本文首次系统对比攻击与防御,揭示多数防御无效、水印易被移除等关键发现,为安全团队制定防护策略提供了实证依据。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Yingzhe He, Guozhu Meng, Kai Chen 0012, Xingbo Hu, Jinwen He
本文提出了一种名为DRMI(基于互信息的数据集缩减技术)的方法,旨在优化黑盒攻击中的数据集使用效率。在黑盒攻击场景下,攻击者需要频繁查询目标模型以生成对抗样本,而数据集规模直接影响查询开销和攻击速度。DRMI通过计算样本与标签之间的互信息,量化每个样本对攻击成功率的贡献,从而筛选出最具代表性的子集,有效压缩训练数据集的大小。实验采用多种黑盒攻击算法(如遗传算法、基于梯度的替代方法)在CIFAR-10、ImageNet等标准数据集上进行验证,结果显示DRMI在缩减数据集至原规模的10%-30%时,仍能保持相近的攻击成功率(平均下降不超过2%),同时显著降低查询次数和时间成本。该方法的核心优势在于无需访问模型内部结构,适用于任意黑盒攻击流水线,并可作为预处理步骤集成到现有工具中。论文还探讨了不同互信息估计器的选择对结果的影响,并与随机采样、基于梯度的重要性采样等方法进行了对比,证明了DRMI在保持攻击效果方面的优越性。
💡 推荐理由: 研究揭示了攻击者如何通过数据筛选降低攻击成本,帮助蓝队理解黑盒攻击的经济性,从而针对性优化防御策略。
🎯 建议动作: 研究跟进
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Behrad Tajalli, Stefanos Koffas, Stjepan Picek
机器学习中的后门攻击旨在通过向训练数据中植入恶意样本,使模型在遇到特定触发器时产生攻击者指定的输出。现有研究多聚焦于图像等同质数据,而表格数据因同时包含数值和类别特征,其异构性使得攻击设计更具挑战。本文提出CatBack,一种针对表格数据的通用后门攻击方法。核心创新在于提出一种新的类别特征编码技术:将类别值转换为浮点数表示(而非传统的独热或序数编码),该编码能保留足够信息以保证正常模型的准确率。基于此编码,攻击者可以构建一个基于梯度的通用扰动,该扰动可同时作用于数值和类别特征,形成统一的触发器。在训练阶段,将带有此扰动的样本(后门样本)注入训练集,并标记为攻击目标标签;模型学习后,任何输入若被施加该通用扰动,都会预测为目标标签。作者在5个数据集(涵盖分类与回归任务)和4种流行模型(如决策树、神经网络等)上评估了CatBack,实验显示无论在白盒还是黑盒设置(包括在Google Vertex AI平台上)下,攻击成功率均高达100%。更关键的是,该方法能有效绕过现有多种防御机制,包括Spectral Signatures、Neural Cleanse、Beatrix和Fine-Pruning,以及常见的异常检测方法(如孤立森林)。与已有工作Tabdoor相比,CatBack在攻击成功率、隐蔽性和通用性上均有显著提升。本文揭示了表格数据在机器学习安全中的一个严重脆弱性,表明传统的防御手段在此类新型攻击面前失效,亟需针对异构数据设计更鲁棒的防御方案。
💡 推荐理由: 表格数据在金融风控、医疗诊断、工业检测等关键领域广泛应用,此攻击能绕过现有主流防御,威胁真实ML管线的安全性与可靠性,值得安全从业者高度关注。
🎯 建议动作: 研究跟进,评估自身表格模型对此类攻击的脆弱性,关注未来可能出现的新防御方法。
排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)