#asr

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Arham Riaz, Ting Yu

该论文研究深度学习中后门攻击与防御的一个根本性假设缺陷。传统上,攻击者和防御者都默认成功的后门必须具有高攻击成功率(ASR),现有防御机制也大多基于这一前提进行设计和评估。作者指出,ASR并非后门的内在属性,而是可由攻击者人为控制的变量——攻击者可以在不消除后门行为的前提下,刻意降低模型的ASR,从而规避依赖高ASR特征进行检测的防御体系。为此,论文提出一种“反向训练框架”,通过削弱触发器与目标类别之间的关联强度,生成低ASR的后门模型,同时保持模型在干净输入上的性能基本不变。作者在多个数据集、多种攻击家族和多种网络架构上进行了大量实验,结果表明,现有最先进的防御方法在低ASR条件下均会失效,从而暴露出攻击者与防御者之间严重的能力不对称。该研究的意义在于揭示了一个防御盲区:安全社区不能仅以ASR作为后门检测的唯一信号,否则很容易被攻击者通过降低ASR这种简单策略绕过。论文适合从事深度学习安全、后门防御、模型可信赖性研究的研究人员和安全工程师阅读,也为设计更鲁棒的后门检测与防御机制提供了新的思考方向。

💡 推荐理由: 该研究颠覆了“高ASR是后门必要条件”的传统认知,证明攻击者可刻意降低ASR绕过现有防御,为蓝队评估模型供应链安全提供了新的风险视角。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xinfeng Li, Chen Yan 0001, Xuancun Lu, Zihan Zeng, Xiaoyu Ji 0001, Wenyuan Xu 0001

自动语音识别(ASR)系统已广泛应用于智能助手、语音控制、电话客服、会议转写等场景,其安全性直接关系到用户隐私和设备控制权。已有研究表明,ASR系统容易受到对抗样本(Adversarial Examples, AEs)的攻击,通过引入精心设计的微小扰动,可以诱导识别系统输出攻击者指定的错误文本。然而,许多既有对抗样本在物理世界中可能具有可听性,容易被用户察觉,从而降低攻击的隐蔽性和实用性。针对这一局限,本论文(标题为“Inaudible Adversarial Perturbation: Manipulating the Recognition of User Speech in Real Time”)提出了一种不可听的对抗扰动方法,目标是在实时场景下操纵用户语音的识别结果。该扰动的核心特点是人类听觉上难以察觉,但能够被ASR系统感知并导致误识别。论文可能利用人耳听觉系统的掩蔽效应或超声波等机制来生成此类不可听扰动,但具体的生成算法和架构细节在摘要中未明确给出。研究的主要贡献在于揭示了一种更为隐蔽的ASR攻击途径,使攻击者可以在用户无感的情况下控制语音识别结果,从而对智能设备或语音交互系统构成切实威胁。本篇摘要仅包含一句关于ASR系统易受对抗样本攻击的陈述,未提供实验数据、技术细节或评估结果,因此所有内容仅基于标题和该抽象句进行合理归纳。该研究适合语音安全研究者、ASR系统开发者以及关注对抗机器学习的安全从业者阅读,有助于理解下一代语音攻击的潜在形态。

💡 推荐理由: 语音助手和声控设备日益普及,如果攻击者能在用户无感知的情况下篡改语音识别结果,可能导致设备执行恶意指令、泄露隐私或造成安全事件。防御者需提前了解此类不可听攻击的存在,并评估自身系统的抗性。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.4)
👥 作者: Yang Gao

该论文系统性地评估了用于衡量大语言模型(LLM)越狱攻击成功率的自动化裁判(ASR评分器)的可靠性。研究背景是:几乎所有关于LLM越狱和提示注入的论文都报告攻击成功率(ASR),但这些ASR通常由自动化裁判(专用安全分类器或通用聊天模型)打分,而裁判本身的准确性很少被验证。论文使用HarmBench分类器验证集中的596个人工标注样本,将两种裁判家族(专用分类器和LLM-as-judge)与人类多数投票进行比较,然后对裁判进行攻击。研究发现两种裁判在失败方式上截然相反:专用分类器过度标记(精确率0.835,召回率0.974);三个不同的LLM-as-judge精确率高(0.81-0.94),但召回率波动大(0.06-0.65),导致同一组响应因裁判不同而得到截然不同的ASR。鲁棒性方面,仅添加良性框架而保持有害文本不变的包装器可使LLM-as-judge在57%-100%的情况下被翻转,其中单个拒绝前缀语句就解释了大量翻转(39%-88%)。专用分类器抵抗此类表面攻击(最多6.7%),但针对其开放权重的白盒GCG攻击在很小的优化预算下就翻转了70%的置信真阳性(21/30,95% CI 54%-86%)。双标注员审计确认攻击未破坏有害性:采样的80个翻转案例全部仍包含有害内容。由于报告ASR中来自LLM-as-judge的比例日益增长,许多ASR数字在平均情况下和受刻意压力下都不可靠。论文建议在论文中报告裁判在人工标注切片上的精确率和召回率,报告经裁判精确率校正的ASR,并包含对裁判的对抗性检查。代码已开源。

💡 推荐理由: 当前大量LLM安全研究依赖自动化裁判报告ASR,但裁判自身的可靠性从未被系统性检验。本论文揭示专用分类器和LLM-as-judge双方向都脆弱,可能导致大量已发表结果不可靠,直接冲击整个LLM安全评估的可信度。

🎯 建议动作: 研究跟进:论文提出的裁判校准和对抗检查方法应纳入内部评估流程,建议在提交安全评估结果时同时报告裁判的精确率和召回率。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yifan Liao, Zongmin Zhang, Zhen Sun, Yuhui Sun, Xinhu Zheng, Xinlei He

本文针对自动语音识别(ASR)系统的对抗鲁棒性展开研究。现有对抗攻击直接在波形域添加噪声,存在两个主要局限:一是对黑盒ASR系统的迁移性差,二是易被专门防御波形扰动的机制缓解。为此,作者提出了一种基于代理模型的Clean-Referenced Feature-Vocoder Attack(CR-FVA),将对抗扰动空间从原始波形转移到自监督学习(SSL)表示空间。具体而言,攻击者首先在代理ASR模型(如Whisper-small)的SSL特征层上计算对抗梯度,并扰动更具泛化性的声学-音素表示,从而减少对代理模型特定波形梯度的依赖,提升跨系统迁移性;然后利用声码器(vocoder)将扰动后的SSL特征重构为类语音波形信号,使得最终对抗样本看起来更像自然语音,从而绕过基于波形边界的防御。实验表明,仅以公开的Whisper-small为代理模型,CR-FVA在多个黑盒ASR模型上实现了相对最佳基线平均+26.6%的词错误率(WER)提升;针对多种训练防御(如对抗训练、频谱压缩等),WER提升幅度达+36.2%。该研究揭示了当前ASR鲁棒性评估中的一个盲区:大多数防御仅关注波形域扰动,而基于更高层特征的攻击能轻易绕过。本文工作适合ASR安全研究者、对抗机器学习从业者以及语音系统防御工程师阅读,有助于理解现有防御的不足并设计更全面的鲁棒性评估方案。

💡 推荐理由: 该攻击方法揭示了ASR系统在特征层面的新攻击面,能有效绕过现有基于波形扰动的防御,并展现出强黑盒迁移性,对语音助手、会议转录等关键应用的安全性构成潜在威胁,促使防御者重新审视鲁棒性评估标准。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)