#adversarial-example

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Robi Paul, Michael Zuzak

本文针对TinyML模型在边缘设备部署中面临的对抗样本(AE)攻击威胁,提出一种名为AdvScan的黑盒运行时检测方法。TinyML模型广泛应用于安全关键型应用,但现有AE检测方案要么需要白盒模型访问(在许可部署中不可行),要么依赖输入预处理阶段,增加不可忽视的延迟和资源开销。AdvScan基于一个关键观察:对抗样本会导致异常的神经元激活,从而产生独特的功耗特征签名。该方法首先通过已知良性输入构建功耗签名的基线分布;在运行时,采用单样本t检验判断待测输入的功耗签名是否显著偏离基线,从而检测对抗样本。作者在三个MLPerf Tiny基准模型上使用FGSM、PGD和C&W三种对抗生成算法,并在STM32F303RC和STM32L562RE两款微控制器上进行评估。在总计318,400个测试输入中,AdvScan检测出99.984%的对抗样本,仅出现40个假阴性和零假阳性。实验表明,基于功耗分析的AE检测方法在保证准确性的同时,适用于黑盒场景下的TinyML部署,且不引入额外推理延迟。

💡 推荐理由: 为资源受限的边缘设备提供一种低开销、高精度的黑盒对抗样本检测方案,弥补了现有白盒方法无法用于许可部署的缺陷,对TinyML安全防御具有重要实践意义。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Meng Shen 0001, Jiangyuan Bi, Hao Yu 0017, Zhenming Bai, Wei Wang 0012, Liehuang Zhu

本文针对商用深度学习服务中的对抗样本检测问题,提出了一种名为“建设性噪声”的新型防御方法。该方法通过向输入数据添加精心设计的噪声,使得正常样本和对抗样本在模型内部表示上产生可区分的差异,从而有效检测出对抗扰动。核心思路是利用噪声的构造性来对抗攻击者的破坏性噪声,通过设计一个噪声生成网络,使其输出与模型决策边界对齐,增强正常样本的鲁棒性同时放大对抗样本的异常特征。实验在多个商用DNN服务(如云端分类API)和标准数据集上进行,结果表明该方法能在保持较低误报率的前提下,显著提升对抗样本的检测率,且对多种攻击算法(如FGSM、PGD、C&W)具有泛化能力。主要贡献包括:1) 提出一种无需修改原始模型的新型检测框架;2) 设计了噪声构造与融合机制;3) 在真实商用场景中验证了有效性。适合从事AI安全、对抗机器学习防御的工程师与研究人员阅读。

💡 推荐理由: 对抗样本对商用DNN服务构成严重威胁,本文提出的建设性噪声检测方法无需改动模型,易于部署,为云端AI服务提供了一种轻量级、高精度的防御手段。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.3)