#model-robustness

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Qingyu Wu, Yuan Wei, Renju Liu, Hua Cheng

该论文关注可穿戴人体活动识别(HAR)模型在跨传感器、跨受试者和跨骨干网络部署时的鲁棒性审计问题。作者指出,一条看似平滑的时序波形可能表面上属于时间扰动,但实际上主要利用的是持续性的传感器偏置。为此提出 SpectrumAudit:一种标签封存的审计方法,在训练和测试中排除的受试者校准窗口上拟合相位随机化的全窗口刺激;选定后,在不重新拟合的情况下,将精确的直流投影和受峰值预算约束的零均值残差回放到同一冻结受害模型上。实验覆盖三个数据集、三种骨干网络共 27 个受害模型,所选波形造成 2.87 至 40.83 个百分点的三阶段鲁棒准确率损失;在回放预算下,直流分量在 24/27 个模型上比交流分量更具破坏性,并在 22/27 个模型上恢复至少 90% 的完整下降,所有 5 次失败均出现在 WISDM 数据集。在留出的 UTD-MHAD 检查中,所选波形导致 13.49 个百分点的准确率和 11.68 个百分点的宏 F1 损失,而匹配的随机变化仅为 -0.66 个百分点。该审计在统一峰值预算上限下区分了传感器偏置与零均值变化,代码将在论文被接收后发布。

💡 推荐理由: 可穿戴 HAR 已用于健康监测、运动分析与跌倒检测,传感器偏置类扰动容易被误判为正常波形。该工作提供无需标签的审计流程,揭示模型对 DC 偏移的普遍脆弱性,对红蓝队评估传感器欺骗与模型鲁棒性有直接参考价值。

🎯 建议动作: 研究跟进;将传感器偏置与 DC 漂移鲁棒性测试纳入可穿戴 HAR 模型内部评估流程。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Florian Krone, Elena Hoemann, Sven Hallerbach

本文关注深度视觉模型在对抗性扰动下的脆弱性问题。基于卷积网络或 Transformer 的神经网络已成为现代计算机视觉系统的核心组件,但已有研究表明,人眼几乎不可察觉的微小扰动即可显著改变模型预测结果,这对自动驾驶、医疗影像、工业质检等安全关键场景的落地构成实质性威胁。现有攻击方法大多假设白盒威胁模型,即攻击者能够完整访问目标模型的参数与梯度,这一前提在真实环境中往往不成立,导致其实际风险被高估、可操作性被夸大。作者提出在更贴近现实的 black-box 威胁模型下工作的新方法 RIBA(Reinforcement Learning Inspired Black-box Adversarial Attack),核心思路是把扰动优化问题建模为在不可微目标模型上的黑盒优化,并借用强化学习中已被充分优化的查询效率机制(依据模型反馈信号迭代地调整搜索策略)来驱动扰动生成,从而在只能通过有限次查询获得模型输出的条件下完成攻击。作者在 Cifar10 与 ImageNet 数据集上,针对多种目标模型与当前先进攻击方法进行了对比实验。结果显示:在 Cifar10 上攻击 ResNet-18 时,RIBA 生成对抗样本所需查询次数的中位数比基线方法减少 25.4%;在 ImageNet 上欺骗 ViT-B/16 模型时,中位查询次数减少 22.5%。此外,在经对抗训练加固的模型上,RIBA 的表现可与白盒攻击相当。该工作说明黑盒场景下攻击的查询成本正在快速下降,也提示仅依赖对抗训练并不足以抵御具备查询能力的自适应对手。适合对抗机器学习、模型安全评估与视觉系统鲁棒性方向的研究者与工程人员阅读。

💡 推荐理由: 它表明黑盒设定下的对抗样本生成成本正显著下降,且对抗训练加固模型亦可能被追平,直接影响视觉类模型的安全评估基线与加固策略选择。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Athanasios Angelakis, Marta Gomez-Barrero

该论文关注虹膜活体检测(Presentation Attack Detection, PAD)在真实部署中的鲁棒性问题:一个在开发阶段表现可靠的子模块,一旦遇到验证集中从未出现过的呈现攻击工具(Presentation Attack Instrument, PAI)或采集条件,检测性能可能急剧下降。作者在 LivDet-Iris 2017 的 Notre Dame 子集上,对三个从零训练(不使用外部预训练权重、不做数据增强)的紧凑型视觉模型进行基准测试,每个模型可训练参数量不超过约 26 万,并覆盖五个随机种子以降低偶然性。评估采用跨域设定:先在验证集上选定一个阈值,随后不加修改地迁移到已知攻击(known-attack)、未知攻击(unknown-attack)、环境退化(corrupted)以及合并(pooled)四个测试分区,从而量化阈值与模型在分布偏移下的表现衰减。结果显示,从已知攻击迁移到未知攻击时,攻击呈现分类错误率(APCER)上升 17.11 至 30.47 个百分点,检测等错误率(D-EER)上升 7.38 至 12.73 个百分点。在验证集阈值下,ZACH-ViT 取得最低的未知攻击 APCER(47.69±4.84%)与 D-EER(38.87±0.93%),Compact-TransMIL 则在真实呈现分类错误率(BPCER)上最优;在将 APCER 限制在 10% 的条件下,ZACH-ViT 仍给出最低的未知攻击 BPCER(81.29±1.95%)。作者强调,尽管紧凑模型之间存在相对优劣,但其绝对错误率依然很高,说明『最佳紧凑模型』的相对优势并不等同于在未知 PAI 场景下具备部署就绪性。论文也隐含指出现有评估协议若只看同分布指标会系统性高估实际防护能力,适合生物特征安全、模型鲁棒性与边缘设备部署方向的研究者与工程评估人员阅读。

💡 推荐理由: 虹膜识别常用于边境管控、门禁等高安全场景,活体检测失效即意味着可用伪样本欺骗系统。该研究用跨种子量化数据表明,跨 PAI 域与环境退化会使紧凑模型错误率显著上升,且开发期阈值无法直接迁移,提示静态阈值评估会高估真实防护能力。

🎯 建议动作: 纳入内部评估:在自有虹膜/生物特征采集数据上按未知攻击与环境退化分区复现该评测协议

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Rafael M. Mamede, Pedro C. Neto, Ana F. Sequeira

深度伪造(deepfake)检测器普遍面临基于迁移的黑盒攻击威胁:攻击者在一个本地替代模型(source surrogate)上构造对抗样本,再直接投放到未知的目标检测器(target)上,从而在不接触目标模型的情况下实现绕过。然而,源模型与目标模型之间的“兼容性”如何决定迁移成功率,此前一直缺乏系统认识——已有研究往往只评测少量检测器,且很少把网络结构因素与训练因素(预训练方式、训练数据)分离开来。本文针对这一问题开展受控评测:作者构建了覆盖 60 个检测器、6 种骨干网络、2 种预训练范式、5 种训练数据配置的评测矩阵,并采用两种攻击流程——AutoAttack(AA)与带期望变换的 Carlini–Wagner 攻击(CW–EOT)——进行成对(pairwise)迁移测试。匹配对照结果显示,当源与目标共享完全相同的骨干、同一架构家族、同一预训练范式或同一训练数据时,迁移成功率显著更高;而且这种兼容性结构依赖于攻击方式:AA 下“骨干完全相同”的增益最大,CW–EOT 下“共享预训练”与“共享训练数据”的影响最大。在跨所有非目标源取平均时,AA 的平均攻击成功率(ASR)为 7.21%,CW–EOT 为 19.52%;但若使用一个同时整合两种攻击的多源 oracle,在排除骨干与训练数据完全匹配的组合后,平均 ASR 仍可达 64.48%。这说明仅按单一源模型平均得到的 ASR 会严重低估目标模型的真实脆弱性。作者同时公开了 24 万张对抗扰动图像、完整的成对迁移结果、各检测器配置以及评测代码,并据此提出:源—目标兼容性与源模型选择,应当成为基于迁移的黑盒鲁棒性评测中不可回避的核心维度。

💡 推荐理由: 它提醒防御方:单源平均 ASR 会系统性低估检测器真实脆弱性,鲁棒性评测必须纳入源模型选择与源—目标兼容性维度,否则结论不可信。

🎯 建议动作: 研究跟进,并纳入内部 deepfake 检测器鲁棒性评估流程

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.6
Conf: 50%
👥 作者: Yijie Bai, Zhongming Ma, Yanjiao Chen, Jiangyi Deng, Shengyuan Pang, Yan Liu 0069, Wenyuan Xu 0001

本文提出了一种名为 Alchemy 的无数据对抗训练框架,旨在解决实际场景中模型鲁棒性提升面临的训练数据不可得问题。传统对抗训练方法通常依赖原始训练数据来生成对抗样本并增强模型鲁棒性,但随着开源模型平台和商业模型的普及,用户往往只能获得模型权重,而原始数据集因商业利益或隐私原因并未公开。在此背景下,现有对抗训练方法无法直接应用。Alchemy 是首个无数据对抗训练框架,它不需要原始训练数据,而是通过重构具有鲁棒特征的高质量训练数据,同时提升模型对不可访问原始数据集的对抗鲁棒性,兼顾准确率保持与鲁棒性提升。作者针对两个核心挑战展开:一是如何在无数据条件下生成能够反映原始数据分布的训练样本,二是如何利用这些合成样本有效提高模型在未知攻击下的鲁棒性。实验覆盖四个数据集,并与五种基线方法对比,结果表明 Alchemy 在多数攻击场景下能够显著提升平均鲁棒性,且性能优于现有方法。此外,作者还评估了框架在不同设置下的稳定性,并讨论了未来研究方向。该工作为模型发布者和使用者提供了一种无需数据即可增强模型安全性的新思路,特别适用于模型迁移、安全微调等场景。

💡 推荐理由: 实际中用户常只能拿到模型权重而无法获得原始训练数据,Alchemy 首次实现无数据对抗训练,为模型鲁棒性增强提供了可行方案,对蓝队防御对抗攻击具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yechao Zhang, Shengshan Hu, Leo Yu Zhang, Junyu Shi, Minghui Li, Xiaogeng Liu, Wei Wan, Hai Jin 0001

该论文深入研究了深度神经网络(DNN)中对抗样本的可迁移性问题。传统的对抗样本攻击中,攻击者使用白盒替代模型生成对抗样本,这些样本能够欺骗其他不同架构的黑盒模型。尽管已有大量实证研究提供了生成高可迁移性对抗样本的指导,但许多发现缺乏理论解释,甚至给出矛盾的建议。本文聚焦于替代模型的特性,从“微鲁棒性”(little robustness)现象出发——即用轻微扰动对抗样本进行对抗训练的模型反而能作为更好的替代模型来发起迁移攻击。作者将此归因于模型平滑度(model smoothness)和梯度相似性(gradient similarity)之间的权衡,并强调两者对可迁移性的联合效应,而非单独影响。通过理论分析和实证研究,他们假设对抗训练中由离流形(off-manifold)样本引起的数据分布偏移是损害梯度相似性的原因。基于此,进一步探讨了常见数据增强和梯度正则化对可迁移性的影响,分析了不同训练方法中权衡的表现,构建了可迁移性调节机制的综合蓝图。最后,提出一种通用路线来构建优质替代模型以提升可迁移性,即同时优化模型平滑度和梯度相似性,例如结合输入梯度正则化和锐度感知最小化(SAM),并通过大量实验验证。总结来说,论文呼吁关注这两个因素对发起有效迁移攻击的联合影响,而非单独优化其中一个,并强调操纵替代模型的关键作用。适合从事对抗机器学习、模型鲁棒性研究的学者和工程师阅读。

💡 推荐理由: 解释长期存在的‘微鲁棒性’现象,提供理论框架指导构建更强迁移攻击的替代模型,对防御方理解攻击机理和设计鲁棒模型有参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)