该论文研究大型音频-语言模型（LALM）面临的异构音频越狱问题。LALM 将语言模型能力扩展到音频理解，攻击者可通过语音、环境音、音乐等音频载体构造越狱输入。作者提出的核心研究问题是：越狱成功究竟是因为模型未能识别有害意图，还是发生在识别之后——即模型内部已感知风险却仍未能拒绝。通过逐层探针（layer-wise probing）分析，作者得到后一种结论：风险相关信息在模型中间层表示中依然可被解码出来，但这一内部风险信号在后续层的处理中未能转化为拒绝行为，作者将此现象命名为“风险—拒绝鸿沟”（risk-to-refusal gap）。基于这一发现，论文提出 AEGIS 防御框架，采用“先检测、后干预”（detect-then-intervene）范式：在模型中间层设置风险门控（mid-layer risk gate），仅当检测到风险信号时才选择性地激活下游安全适配器（safety adapters），从而在需要时施加干预、避免对正常输入造成不必要的扰动。实验覆盖 6 个 LALM 与 3 个异构音频越狱基准，结果显示平均不安全率由 17.9% 降至 0.4%，同时对良性输入的过度拒绝（over-refusal）仅有轻微上升。论文的贡献在于：从机制层面定位了 LALM 越狱的失效环节在“风险识别之后”，并证明选择性内部干预是提升 LALM 拒绝鲁棒性的有效技术路径。代码已在 GitHub 开源。

本文针对音频语言模型（ALM）的越狱攻击展开研究。现有的越狱攻击通常在整个音频波形上密集地优化扰动，以诱使ALM生成不安全的内容。作者首先通过分析ALM中token对齐梯度的结构，发现梯度能量在音频token上高度不均匀，即只有少量token对应的音频区域主导了优化信号。基于这一观察，提出了Token-Aware梯度优化（TAGO）方法，该方法在每次迭代中仅保留与高梯度能量音频token对齐的波形梯度，而屏蔽其余梯度，从而实现稀疏越狱优化。在三个ALM（包括Qwen3-Omni）上的实验表明，TAGO在显著稀疏化（如token保留率0.25）时仍能保持较高的攻击成功率（例如Qwen3-Omni上ASR_l为86%，而完全保留token时为87%），证明了密集波形更新在很大程度上是冗余的。该工作揭示了token级别异质梯度结构，为未来ALM越狱和安全对齐研究提供了新方向，并建议防御者关注此类稀疏攻击的潜在威胁。