#certified-robustness

共收录 5 条相关安全情报。

← 返回所有主题
👥 作者: Jun Yan, Weiquan Huang, Qixian Zhang, Yan Bai, Shutai Zhang

该论文研究将差分隐私(DP)形式的认证鲁棒性从卷积神经网络迁移到视觉 Transformer(ViT)时出现的失效问题。PixelDP 通过在网络中间层注入噪声,为范数有界的对抗扰动提供严格的鲁棒性证书,此前在 CNN 上被证明有效;但在自注意力架构主导深度学习、并广泛渗透数字与物理世界的今天,其在 Transformer 上的认证鲁棒性行为几乎未被探索。作者在 ViT 上复现该构造后发现一个在卷积设定中被掩盖的失效模式:当噪声被注入到 patch embedding 之后时,沿用 CNN 分组 ℓ1 敏感度界的拉普拉斯机制在所有噪声尺度下都退化为随机猜测水平的准确率,而同一位置的高斯机制仍然可正常训练。这一强烈对照把失效来源从“注入噪声本身”隔离到“敏感度约束的几何形态”上。作者进一步用随机矩阵分析解释该现象:继承的 Δ_{1,1} 投影所带来的信号衰减随层宽与核尺寸增大而加剧,其尺度约为 C/(√M+√N)。当把 ℓ1 型约束替换为谱范数约束后,跨数据集与跨架构的坍缩现象被消除,但随之产生新的根本障碍——修复后的模型不再满足标准拉普拉斯证书所要求的敏感度条件。作者最终通过隐私损失集中不等式,为 ℓ2 敏感度下的拉普拉斯机制推导出一个与维度无关的 (ε,δ)-隐私保证,从而弥合这一理论不匹配。该工作对认证防御设计者具有直接指导意义:它表明敏感度约束的几何选择(而非噪声分布本身)是 ViT 上认证鲁棒性成败的关键,并提供了可用的替代理论工具。适合研究认证鲁棒性、差分隐私机器学习与 Transformer 安全的研究者与工程团队阅读。

💡 推荐理由: 认证鲁棒性是模型安全上线的兜底手段。该文指出直接把 CNN 的 PixelDP 结论套用到 ViT 会导致认证实质失效(精度跌至随机水平),并给出“敏感度约束几何”这一根因与修复路径。防御方在 Transformer 架构上部署或评估认证防御时,不能沿用旧参数,必须重新验证证书有效性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ji Guan, Mingyu Huang

该论文研究量子分类器在已知读出查询访问(KRQA)模型下的认证对抗鲁棒性。量子分类器通过演化输入量子态并测量输出来分配标签,重复执行仅能揭示标签分布。在KRQA中,评估者可制备输入、知晓量子测量、观测有限次测量结果,但无法检查内部演化、参数或梯度。作者提出一种仅基于测量的框架,为每个输入返回两个互补的保证:一个下界,排除半径内的非目标错误;一个与攻击无关的上界,证明半径内存在对抗态。两者均可从已知读出测量和采样结果中估计,无需层析或电路描述,并具有有限样本保证。上界利用量子测量诱导的间隙算子;下界将状态空间搜索松弛为在算子谱约束下对结果分布的高效优化,所得证书不弱于先前仅基于概率的证书,当谱约束活跃时可严格更强。在多个量子分类器上的评估表明,下界在可处理实例上跟踪精确最优值,而上界在标准攻击失败时仍能提供信息。作者进一步在IBM Quantum硬件上验证了实际设备可行性:对两个8量子比特量子神经网络执行40次,方法即可计算两种证书,且每个测试输入上的下界与上界均符合预期顺序。总体而言,这些结果表明量子分类器的鲁棒性声明可以在KRQA下直接从可观测统计量中审计。

💡 推荐理由: 为量子机器学习安全提供可审计的鲁棒性认证方法,无需内部访问即可评估对抗风险,对量子AI部署与合规有直接价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 3.5
Conf: 50%
👥 作者: Andrew C. Cullen, Paul Montague, Benjamin I. P. Rubinstein

本文针对随机平滑(Randomized Smoothing, RS)认证方法计算开销过大的问题,提出了一种基于元学习的早停框架。传统RS需要为每个输入进行数万次模型评估,且必须预先固定样本量,导致实际部署困难。作者设计了一个轻量级元学习器,为每张图像预测特定的先验分布,并将其注入到序列E过程中,从而在保持严格统计保证的前提下,将样本复杂度降低20倍。此外,该框架支持“随时有效性”(anytime-validity),可根据应用风险阈值动态调整计算资源分配,这是传统认证框架无法实现的资源分诊机制。实验表明,该方法在认证性能上与标准RS相当,同时大幅提升了效率,为实时安全关键部署提供了可行路径。

💡 推荐理由: 本工作显著降低了神经网络鲁棒性认证的计算成本,使实时安全部署成为可能,对依赖认证鲁棒性的安全系统(如自动驾驶、医疗AI)具有重要价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Aman Saxena, Jan Schuchardt, Yan Scholten, Stephan Günnemann

本文提出了一种基于差分隐私的原偶视角(primal-dual perspective)来证明机器学习模型对后门攻击的鲁棒性。后门攻击同时污染训练数据和测试数据,使得现有仅针对训练时或推理时单一阶段的随机平滑认证方法失效。作者将随机平滑与差分隐私中的隐私配置文件(privacy profiles)相结合,该配置文件提供了一种数值化方法来组合异构随机机制。由此得到的框架能够对复杂的组合机制进行紧致、模块化的端到端认证,同时可以利用现有差分隐私机制的分析结果。作者将该框架实例化到DP-SGD(差分隐私随机梯度下降)和深度分区聚合(Deep Partition Aggregation)并加入推理时平滑,推导出同时对抗训练时和后门注入、推理时触发器激活的联合鲁棒性保证。在MNIST和CIFAR-10上的实验表明,该方法能够有效认证模型在联合威胁模型下的鲁棒性。本文为使用组合机制认证复杂威胁模型下的鲁棒性提供了一个通用且原则性的框架。

💡 推荐理由: 后门攻击是AI安全的核心威胁,现有认证方法大多只针对单一阶段攻击。本文提出的联合认证框架填补了同时认证训练时和推理时攻击的空白,有助于构建更可信的AI系统。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Linyi Li 0001, Maurice Weber, Xiaojun Xu, Luka Rimanic, Bhavya Kailkhura, Tao Xie 0001, Ce Zhang 0001, Bo Li 0026

本文提出TSS(Transformation-Specific Smoothing)框架,旨在为机器学习模型提供针对语义变换(如旋转、模糊、平移等)的鲁棒性认证。现有认证方法主要针对L_p范数约束的扰动,而对语义变换的认证研究不足。TSS根据语义变换的特性将其分为两类:可解析变换(如高斯模糊)和差分可解析变换(如旋转),针对前者提出变换特定随机平滑策略,针对后者采用分层采样方法以处理插值误差。TSS结合一致性增强训练,实现了严格的鲁棒性认证。实验在十多种挑战性语义变换上进行,结果表明TSS显著优于现有方法,并且首次在大规模ImageNet数据集上取得非平凡的认证鲁棒性(例如,在±30°旋转攻击下实现30.4%的认证准确率)。此外,TSS对自适应攻击和未知图像损坏(如CIFAR-10-C、ImageNet-C)也具有鲁棒性。

💡 推荐理由: 该研究填补了语义变换鲁棒性认证的空白,为安全攸关的ML系统(如自动驾驶、医疗影像)提供了可证明的防御保障。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)