该论文研究大型音频-语言模型(LALM)面临的异构音频越狱问题。LALM 将语言模型能力扩展到音频理解,攻击者可通过语音、环境音、音乐等音频载体构造越狱输入。作者提出的核心研究问题是:越狱成功究竟是因为模型未能识别有害意图,还是发生在识别之后——即模型内部已感知风险却仍未能拒绝。通过逐层探针(layer-wise probing)分析,作者得到后一种结论:风险相关信息在模型中间层表示中依然可被解码出来,但这一内部风险信号在后续层的处理中未能转化为拒绝行为,作者将此现象命名为“风险—拒绝鸿沟”(risk-to-refusal gap)。基于这一发现,论文提出 AEGIS 防御框架,采用“先检测、后干预”(detect-then-intervene)范式:在模型中间层设置风险门控(mid-layer risk gate),仅当检测到风险信号时才选择性地激活下游安全适配器(safety adapters),从而在需要时施加干预、避免对正常输入造成不必要的扰动。实验覆盖 6 个 LALM 与 3 个异构音频越狱基准,结果显示平均不安全率由 17.9% 降至 0.4%,同时对良性输入的过度拒绝(over-refusal)仅有轻微上升。论文的贡献在于:从机制层面定位了 LALM 越狱的失效环节在“风险识别之后”,并证明选择性内部干预是提升 LALM 拒绝鲁棒性的有效技术路径。代码已在 GitHub 开源。
💡 推荐理由: 它把音频越狱的失效点从“识别失败”重新定位为“识别后未拒绝”,为蓝队提供了可落地的中间层检测与选择性干预思路,并给出跨 6 个模型、3 个基准的量化效果,对多模态安全防护设计有直接参考价值。
🎯 建议动作: 研究跟进:复现其探测与门控思路,评估纳入内部 LALM 安全评估基线