#adversarial-examples

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Christian Scano, Diego Soi, Angelo Sotgiu, Luca Demetrio, Davide Maiorca, Giorgio Giacinto, Fabio Roli, Battista Biggio

本文关注机器学习驱动的安卓恶意软件检测器在问题空间(problem space)中的对抗性攻击。现有攻击方法存在诸多不足:大多数技术通过软件移植注入完整良性模块,引入大量副作用特征,且常导致构建失败;细粒度方法仅注入少量组件,效果有限;使用混淆的方法依赖脆弱的字节码重写,生成的APK虽然在语法上有效,但语义上不可用。此外,先前研究仅通过安装和基本执行的冒烟测试评估攻击成功率,忽略了修改后的APK是否仍保持原始功能。为解决这些问题,作者提出DROIDBREAKER框架,它是一个实用且功能完整的问题空间攻击框架,提供以下能力:(i) 仅操纵对目标模型最具影响力的APK组件,实现查询高效的白盒和黑盒攻击;(ii) 一组细粒度、构建安全(build-safe)的操作(包括注入和混淆API调用、应用模块、权限和URL),副作用最小;(iii) 语义保持的功能测试,通过比较原始APK与修改后APK的执行日志和API级轨迹来强制执行运行时等价性。在最新版安卓应用数据集上的实验表明,DROIDBREAKER在白盒和黑盒设置下均能以少量查询实现高逃避率,并显著降低VirusTotal上商业恶意软件扫描器的检测率。该工作揭示了当前安卓恶意软件检测器在面对刻意构造的对抗性样本时的脆弱性。

💡 推荐理由: 该研究展示了现有安卓恶意软件检测器在面对实用性对抗样本时的严重缺陷,对安全从业者理解检测模型鲁棒性、改进防御策略具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Nasrin Malekzadeh Goradel, Niccolo Pancino, Yaser Gholizade Atani, Benedetta Tondi, Giovanni Bellettini, Mauro Barni

这篇论文系统研究了输入维度(input dimensionality)在深度神经网络对抗样本产生和定向控制中的作用。作者首先分析了现有基于测度集中(concentration of measure)的理论框架的适用范围与局限性,发现真实图像类别表现出强烈的经验局部化(empirical localization),超出了这些理论的典型假设。随后,他们利用涵盖不同输入维度范围的层级图像数据集和多种神经网络架构进行了大规模实证评估。结果表明,随着输入维度的增加,构造对抗样本(包括无目标和有目标攻击)变得更加容易。针对有目标攻击的额外难度,作者通过理论论证指出,高维几何特性使得强制攻击者指定特定目标标签所需的额外扰动相对于无目标攻击非常有限,并且这一差距随着维度升高而进一步缩小。实验也证实了这一点。总体而言,这项研究确立了高输入维度是对抗样本出现及其定向控制的一个基本因素,但该现象究竟源于高维几何与数据分布的相互作用,还是深度神经网络架构本身的特性,仍有待进一步探索。本文对理解对抗攻击的机理和设计更鲁棒的模型具有重要参考价值。

💡 推荐理由: 揭示输入维度是影响对抗样本易生成性的关键因素,有助于安全从业者从根源上理解对抗脆弱性,并为开发更有效的防御策略提供理论基础。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yijun Yang, Ruiyuan Gao 0001, Yu Li 0007, Qiuxia Lai, Qiang Xu 0001

该论文聚焦于深度神经网络(DNN)在安全关键领域(如自动驾驶)中面临的对抗性样本威胁。现有防御方法存在诸多局限:只能防御部分对抗性样本,或导致正常输入的高精度损失,且多数无法抵御自适应攻击(即攻击者了解防御机制后针对性构造的样本)。作者观察到一种语义矛盾现象:人类对图像的感知与网络内部表征之间存在差异。基于此,提出一种新的检测方法,通过比较网络输出与人类可理解的语义标签是否一致来识别对抗性样本。具体地,该方法利用一个额外的语义一致性校验模块,该模块从网络中间层提取特征,并与输入的语义标签进行对比,若不一致则判定为对抗性样本。实验在多个基准数据集(如ImageNet、CIFAR-10)和多种攻击手段(FGSM、PGD、CW等)下进行,结果表明该方法能有效检测多种对抗性样本,同时对正常输入的精度损失极小。此外,该方法在自适应攻击下仍能保持较高检测率,展现了较好的鲁棒性。主要贡献包括:首次系统性地利用语义矛盾检测对抗性样本;提出一种轻量级、可插拔的检测模块,降低部署成本;通过大量实验验证了方法的有效性。该研究适合计算机视觉安全、DNN鲁棒性领域的研究人员及安全工程师阅读。

💡 推荐理由: 针对对抗性样本的现有防御普遍存在覆盖不全或影响正常性能的问题,该论文提出的基于语义矛盾的检测方法在保持高检测率的同时几乎不损失正常输入精度,且能抵抗自适应攻击,为实际部署提供了更实用的解决方案。

🎯 建议动作: 研究跟进:评估该方法在自身业务场景中的适用性,并考虑集成到现有防御体系中。

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Matan Ben-Tov, Daniel Deutch, Nave Frost, Mahmood Sharif

该论文提出了CaFA(Cost-aware Feasible Attacks)系统,旨在评估神经网络表格分类器在实际应用中对抗攻击的鲁棒性。表格数据具有结构化特征和复杂的相互关系,现有对抗攻击方法往往忽略攻击的可行性(即对抗样本在问题空间中是否可实现)以及攻击者的成本(如扰动特征数量和幅度)。CaFA通过两个核心组件解决这些问题:(1)TabPGD算法,一种针对表格数据定制的投影梯度下降变体,能够生成特征空间中的对抗扰动,同时考虑表格特征的异质性(如分类和连续特征);(2)利用数据库技术中自动挖掘的完整性约束(如函数依赖、否定约束等)将特征空间的对抗样本投影到满足这些约束的可行区域,从而确保生成的对抗样本在现实世界中可实现。在三个数据集(如信用卡欺诈检测、贷款审批等)和两种神经网络架构上的实验表明,CaFA相比基线方法(如FGSM、PGD等)具有更高的可行成功率(即被误分类且满足约束的样本比例),同时扰动的特征数量更少、幅度更低,使得攻击更隐蔽且成本更低。此外,CaFA挖掘的约束在声音性和完备性方面优于先前工作。论文还开源了CaFA系统,希望为机器学习工程师提供通用工具,评估模型对可实现攻击的鲁棒性,从而提升部署模型的信任度。

💡 推荐理由: 表格数据在金融、医疗等领域广泛使用,但现有对抗攻击方法常忽视现实可行性。CaFA通过数据库约束确保攻击可实现,为评估表格分类器真实鲁棒性提供了更严格的方法,对构建可信AI具有直接价值。

🎯 建议动作: 研究跟进:评估CaFA对自身表格模型的测试效果,并考虑将其纳入鲁棒性评估流程。

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Giulio Lovisotto, Henry Turner, Ivo Sluganovic, Martin Strohmeier, Ivan Martinovic

本文提出一种新型物理对抗性样本生成技术——短时对抗性扰动(SLAP)。传统静态对抗性补丁存在明显、半永久、无法修改等缺点,而SLAP利用投影仪将精心设计的对抗性扰动实时投射到真实物体上,使其转化为对抗性样本。攻击者可以动态开关或修改投影,且不受空间限制,更难被察觉。作者以自动驾驶场景为测试对象,针对车辆检测器和交通标志识别系统(特别是停止标志检测)进行实验。在多种环境光照条件(包括室外)下,SLAP在非明亮环境中表现出极高鲁棒性,对最先进的神经网络(如YOLOv2)在多种角度和距离下实现高达99%的误分类成功率。此外,SLAP生成的对抗性样本不会表现出传统对抗性补丁的可检测特征,从而绕过了SentiNet等物理对抗性检测方法。作者还评估了包括对抗性训练在内的自适应防御措施,即使在有利的攻击条件下,对抗性训练也能将攻击成功率降低80%。该研究揭示了物理对抗性攻击的新途径,对自动驾驶安全具有重要意义。

💡 推荐理由: SLAP引入了一种隐蔽且动态的物理对抗攻击方法,能绕过现有检测机制,对自动驾驶等物理安全关键系统构成新威胁。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Jie Zhang, Pura Peetathawatchai, Florian Tramèr, Avital Shafran

本论文研究视觉语言模型(VLM)作为可信权威时面临的安全威胁。作者提出了一种新型攻击范式——AI权威洗钱(AI authority laundering):攻击者通过对图像施加人眼几乎不可察觉的对抗性扰动,诱导VLM对错误的视觉输入产生自信且权威的回应。与越狱攻击或提示注入不同,该攻击不破坏模型的对齐(alignment),而是完全作用于感知层面,因此传统安全防护措施难以检测。作者利用公开可用的CLIP模型生成对抗性样本,成功迁移至多个商业生产级VLM,包括GPT-5.4、Claude Opus 4.6、Gemini 3和Grok 4.2。实验覆盖四个攻击面:放大错误信息、贬低个人、逃避内容审核以及操纵产品推荐。在身份操纵和NSFW(不适宜工作场所)内容规避的数百次攻击中,六种模型的成功率在22%至100%之间。值得注意的是,攻击并未使用新颖算法,而是采用十余年前已知的基本对抗性技术,这表明攻击者的能力下限已经足以构成实际威胁。作者认为,视觉对抗鲁棒性现在是一个实际且尚未解决的安全问题。该研究适合VLM开发者、安全工程师及AI政策制定者阅读。

💡 推荐理由: 揭示VLM在实际部署中因感知层攻击导致的权威滥用风险,可能被用于传播误导信息、操纵内容审核和产品推荐,而传统基于对齐的防御措施无效。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)