交通标志识别（TSR）系统对于安全、正确的自动驾驶至关重要。近年来，学术界对TSR模型的物理世界对抗攻击研究显示出这类攻击具有低成本、高可部署性，并能造成严重后果（如隐藏关键交通标志或伪造虚假标志）。然而，现有研究大多仅在学术模型上评估攻击效果，对真实商业TSR系统的影响知之甚少。本文首次对商业TSR系统进行了大规模物理世界对抗攻击测量。测试结果显示，某些学术攻击方法确实能在特定商业TSR系统功能上达到100%的攻击成功率，但该能力并不具备泛化性，整体攻击成功率远低于预期。作者发现一个潜在的关键因素：当前商业TSR系统中普遍存在的“空间记忆”设计（spatial memorization design）。该设计会在系统级影响攻击的实际生效过程。为准确刻画这一影响，作者设计了新的攻击成功率指标，能够数学化地建模该设计对TSR系统级攻击成功率的修正，并利用这些指标重新审视现有攻击方法。通过上述工作，作者总结出7项新观察，其中部分观察因为新指标的引入，直接挑战了既往研究中的结论或主张。这项研究填补了学术攻击研究与商业系统现实差异之间的空白，为评估自动驾驶感知系统的真实对抗风险提供了新视角，并为后续设计更贴近实际部署的鲁棒性测试与防御策略奠定了基础。适合自动驾驶安全研究人员、TSR系统开发商以及关注物理世界对抗攻击的AI安全从业者阅读。

该论文针对基于扩散模型的文生图模型，提出了一种名为 Nightshade 的提示词特异性投毒攻击方法。研究背景是：扩散模型通常在数十亿张图像上训练，传统的数据投毒攻击往往需要污染近 20% 的训练样本才能生效，因此被认为对这类模型几乎无效。但作者指出两点关键洞察：第一，虽然模型训练数据规模巨大，但针对某一个具体概念或提示词的训练样本数量通常只有数千张，这为针对特定提示词的投毒攻击提供了可行性；第二，投毒样本可以被精心构造以最大化攻击效力，从而用极少量样本实现成功攻击。基于这些洞察，Nightshade 攻击被设计为一种高效能、提示词特异性的投毒方法。实验表明，在 Stable Diffusion 最新模型 SDXL 上，仅用不到 100 个投毒训练样本就能完全控制某个特定提示词的生成输出。Nightshade 生成的投毒图像在视觉上与正常图像几乎无法区分，具有很强的隐蔽性；并且投毒效果可以“渗透”到相关概念，即影响与目标提示词语义相近的生成结果。更重要的是，对多个独立提示词进行中等规模的 Nightshade 攻击，可以破坏模型的整体稳定性，导致模型对所有提示词都无法正常生成图像。论文最后提出，Nightshade 这类工具可以被内容所有者用作防御手段，以对抗那些无视 opt-out 或 do-not-crawl 指令的网页爬虫。文章讨论了该攻击对模型训练者和内容所有者的潜在影响，包括训练方可能面临的供应链风险以及内容所有者可获得的保护能力。该研究主要面向深度学习安全、生成模型安全以及数据治理领域的研究者，也适用于模型训练平台和内容版权方理解并缓解此类威胁。

垂直联邦学习（VFL）允许多个组织在不共享原始数据的前提下，基于同一组样本的不同特征协作训练模型。与水平联邦学习不同，VFL 中存在典型的非对称信息结构：发起方掌握学习任务定义（如标签），而参与方仅持有局部特征，这种结构顺应了日益增长的隐私保护需求。然而，非对称性也带来了独特的安全隐患，其中后门攻击尤为突出：恶意参与方不仅可以在训练阶段向模型注入投毒样本，还能够在推理阶段激活后门以操控预测结果。尽管已有研究声称后门攻击能达到接近完美的成功率，并提出了多种防御机制，本文作者通过系统性实验发现，这些结论在真实条件下大多不成立，暴露了研究与实际应用之间的明显差距。本文从实践导向出发，系统研究了 VFL 中的后门漏洞，指出现有方法在方法论设计和评估实践两方面都存在缺陷：它们忽略关键的实际约束，依赖不切实际的先验知识；同时，文献中不良的评估设计掩盖了这些局限。为了弥合这一差距，作者在现实约束下重新定义了威胁模型，提出了面向实践的后门攻击工作流，并构建了一个以 VFL 后门为中心的基准测试平台 BVBench。该基准预置了多种当前最先进的后门攻击与防御基线，旨在提供公平、实用、全面的评估框架。实验结果表明，当前对 VFL 后门风险的理解是脆弱的，许多先前结论无法在现实设置中复现。本研究为后续研究者识别真实可行的漏洞、设计更有效的防御机制提供了坚实基础，尤其适合关注机器学习安全、隐私计算以及联邦学习实际部署中对抗威胁的研究人员和工程人员阅读。

本文提出了一种名为 QURA 的新型后门攻击方法，其核心攻击面是深度学习模型的量化（quantization）过程。模型量化通常被用于在资源受限环境（如嵌入式设备、移动端）中部署模型，以降低存储和计算开销。然而，作者指出这一过程本身可能引入此前被忽视的安全风险。与传统后门攻击依赖训练数据投毒或模型训练阶段操纵不同，QURA 仅通过操控量化过程中的舍入（rounding）操作即可在模型中嵌入恶意行为。具体而言，QURA 首先设计了一种权重选择策略，从预训练模型中识别出对后门目标影响最大、同时尽量不损害模型整体性能的关键权重；随后，通过优化这些权重的舍入方向，在多个层内逐步放大后门效应，同时保持模型的正常精度。实验结果表明，在大多数场景下 QURA 的攻击成功率接近 100%，且模型性能下降可忽略不计。此外，作者还展示了 QURA 能够自适应地绕过现有的后门防御机制，凸显了其潜在威胁。该研究揭示了广泛使用的模型量化流程中存在的关键安全漏洞，强调了在部署量化模型时需要更强的安全防护措施。代码已在 GitHub 上开源。本文适合模型部署工程师、AI安全研究员以及关注供应链安全的蓝队人员阅读，以理解量化环节可能引入的新型攻击面。

该论文提出了一种针对量子机器学习的新型攻击方法，名为 QNBAD（Quantum Noise-induced Backdoor Attack），专门攻击采用零噪声外推（ZNE）作为误差缓解技术的量子神经网络。研究背景是：ZNE 是当前量子计算中广泛使用的误差缓解手段，通过在噪声放大条件下运行电路并外推零噪声结果来提升模型可靠性。然而，作者发现 ZNE 的降噪过程本身存在安全漏洞，攻击者可以刻意将恶意设计的后门模式嵌入到量子噪声中，使模型在含噪环境下对正常输入表现正常，而一旦在推理阶段输入携带特定触发特征的数据，模型便会误分类为攻击者指定的目标标签，同时不影响 ZNE 对整体输出的修正效果。该攻击利用了 ZNE 对噪声模型的线性外推假设，通过调整噪声通道参数来隐藏后门触发条件。实验表明，QNBAD 在多个量子数据集和电路结构上均能保持较高的攻击成功率，同时能够规避现有的噪声感知防御机制。本研究的核心贡献在于首次揭示了量子误差缓解技术与模型安全性之间的冲突，提醒量子机器学习社区在设计防护策略时需将攻防对抗纳入考量。适合量子安全研究者、量子机器学习工程师以及关注新兴计算范式安全威胁的蓝队人员阅读。

本文首次系统研究了针对维基百科的自动化黑帽搜索引擎优化（SEO）攻击，即对抗性维基搜索投毒（MAWSEO），用于非法在线推广。攻击者通过恶意编辑维基百科条目，使相关查询的搜索结果中出现推广非法业务的链接。该工作将此类破坏性编辑自动化，提出MAWSEO技术，利用对抗性修订同时满足多个目标：提升目标页面的搜索排名、规避维基百科内置的破坏检测系统、保持编辑内容的主题相关性与语义一致性，并让普通用户感知到推广内容但又不引起警觉。作者通过大规模评估和用户研究证明，MAWSEO能够高效生成对抗性编辑，不仅绕过当前最先进的破坏检测器（如ORES），还能成功将推广信息传递给维基用户而不触发警报。此外，论文还探索了防御措施，包括基于连贯性的检测方法和对抗训练破坏检测模型，用以抵抗此类攻击。该研究揭示了UGC平台在搜索投毒与内容治理方面的新兴威胁，表明黑帽SEO可以高度自动化，并为相关平台的安全防护提供了重要参考。适合关注搜索引擎优化安全、内容审核对抗攻击及在线广告欺诈的研究人员和蓝队分析师阅读。

该论文针对大语言模型（LLM）驱动的自主渗透测试代理提出了一种新型动态欺骗防御系统 AgentSnare。LLM 代理通过“观察-行动”循环与工具交互：代理选择动作，工具返回观察结果，代理再基于观察继续决策。这种依赖关系使得防御方可以注入欺骗性观察来误导代理的决策。然而，现有防御方法通常依赖攻击前静态部署在环境中的孤立诱饵，高级代理能够逐步识别并绕过这些静态痕迹，最终将利用尝试重新聚焦到真实目标上。为解决此问题，AgentSnare 构建了一个轨迹自适应的欺骗系统，能够动态展开诱饵环境，持续将渗透代理从真实目标引开。其核心是一个“诱饵构造策略模型”，该模型根据代理的交互历史和当前诱饵状态，生成候选诱饵构件（如虚假服务、虚假文件或虚假漏洞信息）；随后系统验证这些候选构件的语义一致性，并增量地将有效构件融入一个事实一致的诱饵环境中。通过这种方式，AgentSnare 实现了三个目标：吸收（absorbing）代理的工具调用，使其在诱饵环境中消耗资源；转移（diverting）代理进入诱饵后的行动轨迹，使其偏离真实目标；以及解除（defusing）攻击，通过诱导代理基于诱饵证据生成完成报告，从而让攻击者认为任务已完成。实验基于 CVE-Bench 中的 15 个 Web 应用程序和三种攻击者模型，结果显示 AgentSnare 吸收了代理 46.8% 的工具调用，保留了 55.9% 的进入后（post-entry）行动在诱饵中，90.0% 的完成尝试基于诱饵证据；在全部 45 个攻击者-CVE 组合中，pass@3 指标下没有任何真实目标被成功利用。该研究为防御方提供了一种可动态适应攻击者行为的主动欺骗思路，适用于 LLM 驱动的自动化攻击场景。适合关注 AI 安全、自主代理防御、渗透测试对抗的研究人员和蓝队工程师阅读。

该论文研究了分类模型中的反蒸馏采样问题。知识蒸馏攻击中，攻击者通过查询目标分类器的预测接口，利用返回的概率向量训练一个替代模型，从而窃取模型功能。此前针对大语言模型提出的反蒸馏采样方法通过输入相关的梯度导向扰动来防御此类攻击，但该方法在分类任务中的迁移尚未被研究。本文首先将反蒸馏采样迁移至分类场景，并发现其行为由教师模型每个输入上的置信度边际分布决定。由于训练良好的分类器存在严重的过度自信现象，直接迁移会导致一个“惰性窗口”：当扰动低于某个可闭式预测的阈值时，既不阻碍攻击者也不保护防御者；超过阈值后，防御发生相变，对教师模型的退化速度快于攻击者的学生模型。温度软化可以在闭式上缩放该相变点，但所有温度配置都位于相同的不利权衡曲线上。为此，作者提出ADS-C方法，在闭式每个输入边际预算下组合扰动，该预算可证明保留每个服务的top-1预测，因此防御后的教师准确度与未防御教师完全一致。在该保证下，蒸馏学生模型在CIFAR-100上仍损失17.4个百分点，CIFAR-10上损失29.6个百分点，Tiny-ImageNet上损失13.3个百分点；而使用未经修改的防御达到相同的学生退化程度则需要牺牲教师27.5、32.9和22.2个百分点的准确度。由于服务标签不变，硬标签攻击者无法获益，而防御后的软输出训练的学生模型准确度甚至低于硬标签底线（最多低29.7个百分点）：蒸馏服务概率的动机不仅被消除，反而被逆转。据作者所知，ADS-C是第一个效用成本恰好为零的分类反蒸馏防御方法。

本文研究训练集攻击（如数据投毒）的目标识别问题。攻击者通过修改部分训练样本，使模型对特定测试样本产生错误预测。现有防御主要检测中毒样本，但难以定位攻击者试图破坏的具体目标。作者提出基于重归一化影响估计（Renormalized Influence Estimation）的方法，通过修正影响函数在中毒数据下的偏差，准确识别攻击目标。核心思路是计算每个训练样本对目标测试样本的贡献，并利用重归一化消除中毒样本间的相互干扰，从而定位最具恶性影响的训练样本。实验在多个数据集和攻击场景下验证，该方法能高效且高精度地识别攻击目标，优于基线方法。该工作首次将影响函数应用于训练集攻击目标识别，为机器学习安全提供了新视角。

该论文提出了一种名为“Poltergeist”的新型声学对抗机器学习攻击，针对配备图像稳定器的摄像头和计算机视觉系统。研究背景是自动驾驶车辆依赖基于计算机视觉的目标检测系统来感知环境并做出驾驶决策，而图像稳定器（通常包含惯性传感器）被用于减少摄像头抖动导致的图像模糊。然而，论文发现了一个系统级漏洞：攻击者通过发射精心设计的声学信号，可以操控惯性传感器的输出，触发不必要的运动补偿，即使摄像头本身稳定，也会产生模糊图像。这些模糊图像进而导致目标检测算法（如YOLO V3/V4/V5、Fast R-CNN以及百度Apollo）产生误分类，影响安全关键决策。论文建模了这种声学操控的可行性，并设计了攻击框架，能够实现三类攻击：隐藏对象（使检测器忽略真实物体）、创建对象（让检测器误认为存在虚假物体）以及改变对象（将物体误分类为其他类别）。实验评估证明了攻击的有效性。论文进一步提出了“AMpLe攻击”的概念，即一类新的系统级安全漏洞，源于对抗性机器学习与物理注入信息承载信号到硬件的结合。该研究揭示了硬件与软件交叉领域的新攻击面，对自动驾驶、安防监控等依赖视觉感知的系统的安全性提出了警示。

该论文是一篇针对金融科技（Fintech）领域人工智能系统可信赖性的综述研究。作者指出，当前人工智能已深度嵌入金融AI管道的各个环节（训练与更新、部署与推理、操作与监控反馈），然而这些管道在提供自动化与规模化优势的同时，也引入了新的攻击面——微小的算法扰动可能被放大为持续的系统级金融危害。现有综述要么将AI视为防御工具，要么以领域无关的方式分析对抗性机器学习，忽略了金融特有的约束条件（如会计合理性、非独立同分布联邦数据、持续重训练以及自动化放大的下游效应）。 为此，论文提出了一个统一的、以生命周期为中心且机制驱动的分析框架。首先，将金融AI划分为三个生命周期阶段：训练与更新、部署与推理、操作/监控/反馈。然后，提出了“金融AI安全与鲁棒性分类法”（Financial AI Security and Robustness Taxonomy），系统整理了17种攻击子类型，涵盖数据与模型投毒、针对决策边界的对抗攻击、LLM中介工作流中的提示注入、以及深度伪造对KYC验证层的颠覆。针对每种子类型，论文分析了其算法策略、可行性约束、隐蔽性与持久性，以及下游金融后果。 最后，论文识别了当前开放挑战，并规划了面向生命周期感知的压力测试和金融相关鲁棒性基准的研究议程。该工作适合金融安全研究人员、AI安全工程师以及金融监管科技从业者阅读，有助于系统性理解金融AI面临的安全威胁并指导防御设计。

该论文提出了 GraphIP-Bench，一个用于系统评估图神经网络（GNN）模型窃取攻击与防御的统一基准。作者指出，现有研究因数据集、威胁模型和评估指标不一致而无法回答“窃取GNN有多难”以及“能否阻止”这两个关键问题。GraphIP-Bench 在统一的黑盒协议下集成了12种模型提取攻击、12种防御方法（涵盖水印、输出扰动和查询模式检测三类）、10个公开图数据集（包含同质、异质和大规模图）、3种GNN骨干网络和3种图学习任务，并报告了保真度、任务效用、所有权验证和计算成本等指标。此外，还增加了联合攻击-防御赛道，对每个受保护目标运行所有攻击，并测量提取后替代模型上的水印验证效果。实验结果表明：在中等查询预算下，窃取GNN很容易，且大多数防御未能改变这一现状；多种水印在受保护模型上可靠验证，但在提取的替代模型上几乎失去验证信号，这暴露了单一模型评估遗漏的漏洞；异质图更难以窃取，而目标与替代模型之间的跨架构不匹配会降低但无法阻止提取。论文提供了开源代码。该研究对安全从业者理解GNN模型窃取风险及评估防御有效性具有重要参考价值。

本文提出了一种名为DRMI（基于互信息的数据集缩减技术）的方法，旨在优化黑盒攻击中的数据集使用效率。在黑盒攻击场景下，攻击者需要频繁查询目标模型以生成对抗样本，而数据集规模直接影响查询开销和攻击速度。DRMI通过计算样本与标签之间的互信息，量化每个样本对攻击成功率的贡献，从而筛选出最具代表性的子集，有效压缩训练数据集的大小。实验采用多种黑盒攻击算法（如遗传算法、基于梯度的替代方法）在CIFAR-10、ImageNet等标准数据集上进行验证，结果显示DRMI在缩减数据集至原规模的10%-30%时，仍能保持相近的攻击成功率（平均下降不超过2%），同时显著降低查询次数和时间成本。该方法的核心优势在于无需访问模型内部结构，适用于任意黑盒攻击流水线，并可作为预处理步骤集成到现有工具中。论文还探讨了不同互信息估计器的选择对结果的影响，并与随机采样、基于梯度的重要性采样等方法进行了对比，证明了DRMI在保持攻击效果方面的优越性。

机器学习中的后门攻击旨在通过向训练数据中植入恶意样本，使模型在遇到特定触发器时产生攻击者指定的输出。现有研究多聚焦于图像等同质数据，而表格数据因同时包含数值和类别特征，其异构性使得攻击设计更具挑战。本文提出CatBack，一种针对表格数据的通用后门攻击方法。核心创新在于提出一种新的类别特征编码技术：将类别值转换为浮点数表示（而非传统的独热或序数编码），该编码能保留足够信息以保证正常模型的准确率。基于此编码，攻击者可以构建一个基于梯度的通用扰动，该扰动可同时作用于数值和类别特征，形成统一的触发器。在训练阶段，将带有此扰动的样本（后门样本）注入训练集，并标记为攻击目标标签；模型学习后，任何输入若被施加该通用扰动，都会预测为目标标签。作者在5个数据集（涵盖分类与回归任务）和4种流行模型（如决策树、神经网络等）上评估了CatBack，实验显示无论在白盒还是黑盒设置（包括在Google Vertex AI平台上）下，攻击成功率均高达100%。更关键的是，该方法能有效绕过现有多种防御机制，包括Spectral Signatures、Neural Cleanse、Beatrix和Fine-Pruning，以及常见的异常检测方法（如孤立森林）。与已有工作Tabdoor相比，CatBack在攻击成功率、隐蔽性和通用性上均有显著提升。本文揭示了表格数据在机器学习安全中的一个严重脆弱性，表明传统的防御手段在此类新型攻击面前失效，亟需针对异构数据设计更鲁棒的防御方案。