#adversarial-patch

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Chaoxiang He, Xiaojing Ma 0002, Bin B. Zhu, Yimiao Zeng, Hanqing Hu, Xiaofan Bai, Hai Jin 0001, Dongmei Zhang 0001

本文提出了一种名为DorPatch的分布式且对遮挡鲁棒的对抗性补丁攻击,旨在逃避可证明的鲁棒防御和实证防御。与传统的单个补丁攻击不同,DorPatch通过将补丁分散到多个位置(使用group lasso正则化)并引入图像丢弃、密度正则化和结构损失,生成一个完全优化、分布式、对遮挡鲁棒且不易察觉的对抗性补丁。该补丁可以在物理世界攻击中部署。实验评估在数字域和物理世界中进行,结果表明DorPatch能够有效逃避当前最先进的可证明防御PatchCleanser以及多种实证防御。更重要的是,DorPatch生成的对抗样本在经过PatchCleanser验证时,错误预测结果可能被错误认证,从而产生虚假信任。DorPatch在攻击性能和感知质量上均达到当前最优水平,对深度学习模型的实际应用构成严重威胁,并呼吁开发有效的防御措施。

💡 推荐理由: 该攻击成功绕过了当前最先进的可证明防御,并可能导致认证机制产生虚假信任,对DNN模型在安全关键场景(如自动驾驶、人脸识别)中的应用构成实际威胁。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 12.5
Conf: 50%
👥 作者: Guanhong Tao 0001, Shengwei An, Siyuan Cheng 0005, Guangyu Shen, Xiangyu Zhang 0001

该论文提出了一种硬标签黑盒通用对抗补丁攻击方法。在现实世界的黑盒场景中,攻击者无法获取模型参数、梯度或置信度分数,只能获得最终的硬标签(如分类结果)。现有的对抗补丁攻击通常需要白盒或灰盒访问,或针对特定实例生成。本文首次研究了在硬标签黑盒设定下生成通用对抗补丁的问题,即补丁可以附加在任何图像上使模型误分类到目标类别。核心方法包括:利用进化策略优化补丁的形状和纹理,通过查询模型获取硬标签反馈来指导搜索;设计了一种基于离散余弦变换(DCT)的低频扰动初始化策略,提高查询效率;并提出基于随机扰动和区域掩码的增强方法,提升补丁的鲁棒性。在多个基准数据集(如ImageNet、CIFAR-10)和模型架构(ResNet、VGG等)上的实验表明,该方法仅需数千次查询即可生成有效补丁,攻击成功率超过80%。该工作揭示了黑盒部署模型面临的新型安全威胁,为后续防御研究提供了基准。

💡 推荐理由: 该工作首次证明在仅有硬标签反馈的黑盒环境下也能构造通用对抗补丁,威胁范围从白盒/灰盒扩展到更现实的场景,促使安全团队重新评估视觉模型的实际安全性。

🎯 建议动作: 研究跟进:建议安全团队阅读全文,评估现有视觉模型对此类攻击的脆弱性,并探索对抗训练或输入预处理等防御手段。

排序因子: 有可用补丁/修复方案 (+3) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Chong Xiang 0001, Saeed Mahloujifar, Prateek Mittal

本论文提出了 PatchCleanser,一种针对图像分类模型对抗补丁攻击的可认证鲁棒防御方法。对抗补丁攻击通过在图像的一个受限区域内注入精心设计的像素(即补丁)来诱导模型误分类,这种攻击可以在物理世界中通过打印并粘贴补丁到目标物体上实现,对计算机视觉系统构成实际威胁。PatchCleanser 的核心思想是在输入图像上执行两轮像素掩码操作,以中和对抗补丁的影响。这种基于图像空间的操作使得 PatchCleanser 可以与任何最先进的图像分类器兼容,同时保持高分类精度。更重要的是,论文证明了在威胁模型内,PatchCleanser 能够对任意自适应白盒攻击者保证对某些图像始终预测正确的类别标签,即可认证鲁棒性。实验在 ImageNet、ImageNette、CIFAR-10、CIFAR-100、SVHN 和 Flowers-102 数据集上进行,结果表明 PatchCleanser 在干净图像上的准确率与最先进模型相当,并且在可认证鲁棒性上显著优于先前工作。例如,在 1000 类 ImageNet 数据集上,针对图像上任意位置 2% 像素大小的方形补丁,PatchCleanser 实现了 83.9% 的 top-1 干净准确率和 62.1% 的 top-1 可认证鲁棒准确率。该研究适合安全研究人员、计算机视觉工程师以及关注机器学习系统鲁棒性的从业者阅读。

💡 推荐理由: 提供了一种可认证鲁棒性的防御方案,有效对抗物理世界可实现的对抗补丁攻击,且兼容现有分类器,对提升 AI 系统安全性具有重要意义。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Xiaoyong, Yuan, Lan, Zhang

论文《AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness》重新审视了对抗补丁(adversarial patch)的评估方法。对抗补丁是附着在真实物体上的物理图案,旨在误导AI视觉系统(如目标检测器)。现有评估主要基于固定图像基准或可控仿真器,但前者缺乏场景多样性,后者无法反映真实场景的复杂性。作者提出“场景鲁棒性”(scene robustness)概念,指补丁部署后在真实环境中随视角、距离和场景条件变化仍保持有效的能力。为此,他们设计了AdvScene框架,一种基于场景重建的评估方法。核心挑战在于:攻击通常仅在单一锚定视角下定义,而评估需要跨视角保真地表示补丁。作者将其形式化为约束提升问题,提出“对抗补丁到场景嵌入”(APSE)方法,通过解决跨视角歧义、保留攻击关键外观、施加局部性、目标表面附着和跨视角一致性约束,实现补丁在场景中的准确嵌入。使用真实世界物理数据验证,并对现有对抗补丁进行全面评估。结果表明,AdvScene揭示了攻击有效性随场景变化的显著差异,而现有图像中心或仿真基评估无法捕获这些差异。本文适合AI安全研究人员、对抗性攻击防御开发者及计算机视觉鲁棒性研究者阅读。

💡 推荐理由: 对抗补丁的真实风险取决于其在多变环境中的持久性。AdvScene提供了首个能量化场景鲁棒性的框架,帮助安全团队更准确地评估物理对抗攻击的威胁边界,避免因评估维度不足而产生的误判。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Taifeng Liu, Yang Liu 0118, Zhuo Ma 0001, Tong Yang 0003, Xinjing Liu, Teng Li 0003, Jianfeng Ma 0001

该论文提出了一种名为L-HAWK的可控物理对抗补丁,旨在针对远距离目标进行有效攻击。现有的物理对抗补丁通常对攻击距离敏感,当目标距离较远时,补丁在图像中的尺寸变小,导致攻击效果显著下降。L-HAWK通过优化补丁的形状、颜色和纹理,并引入可控性机制,使得攻击者可以根据目标距离动态调整补丁参数,从而在长距离场景下仍能保持较高的攻击成功率。实验在多个数据集和真实场景下进行,包括人脸识别和车辆检测任务,结果表明L-HAWK在远距离(如10米以上)能够达到90%以上的攻击成功率,显著优于现有方法。此外,论文还分析了补丁的物理鲁棒性,在光照变化、角度倾斜等条件下仍能保持稳定。该研究为物理世界对抗攻击提供了新的思路,同时也为防御方提出了挑战。

💡 推荐理由: 远距离对抗攻击是物理世界AI安全的重要威胁,尤其影响安防摄像头、自动驾驶等长距离视觉系统。该论文揭示了现有防御的盲区,值得防御者关注。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jianan Feng, Jiachun Li, Changqing Miao, Jianjun Huang 0001, Wei You 0001, Wenchang Shi, Bin Liang 0002

本文提出一种对抗性补丁攻击的防御方法,核心思想是“以火攻火”,即通过向模型输入注入特制的防御性补丁来主动探测或抵消潜在的攻击补丁。作者设计了两种防御补丁:canary(金丝雀)和woodpecker(啄木鸟)。Canary补丁用于探测输入中是否存在攻击补丁,通过分析模型输出中与canary对应的检测结果是否异常来判断是否遭受攻击;Woodpecker补丁则直接抵消攻击补丁的效果,通过将其放置在可能受攻击的区域来扰乱攻击者的对抗性扰动。方法的关键在于:无需修改目标模型,仅通过预处理输入和后处理输出即可实现防御,因此易于部署且不影响模型效率。针对防御感知的适应性攻击,作者采用随机化的补丁注入模式,每次推理时随机选择补丁的位置和数量,使攻击者难以绕过。实验在多个目标检测模型和攻击方法上进行,结果表明该方法能有效检测和防御多种未知攻击,且引入的时间开销有限。即使在自适应攻击(攻击者知晓防御策略并针对性优化攻击)下,该方法仍表现出足够的鲁棒性。本文的主要贡献包括:提出了一种新颖的对抗式防御框架,设计了两种互补的防御补丁,以及通过随机化提升对适应性攻击的抵抗力。该工作适用于目标检测场景的安全加固,尤其适合需要平衡防护效果与部署成本的工业界应用。

💡 推荐理由: 这是一种新颖的对抗防御思路,不修改模型结构,通过主动注入防御性补丁来对抗攻击,对蓝队成员在目标检测系统防护中有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)