该论文研究视觉语言模型(VLM)中基于激活调控(activation steering)的推理期安全防御的鲁棒性边界。激活调控通过在推理阶段修改模型中间层表示、而不更新主干参数来提供防护,被视为一种轻量、可插拔的安全护栏。作者指出,这类防御在基准测试输入上表现出的有效防护,未必能延续到同一有害请求的其它表达形式上。为验证这一差距,作者构造了固定的文本、视觉以及联合(多模态)改写形式,这些改写被设计为保留原始请求的底层意图,结果发现这些改写可以绕开具有代表性的激活调控防御。随后,作者给出了一个互补的局部分析,导出了在局部调控修正发生任意可容许变化的情况下,某种改写仍能越过替代安全边界的充分条件,从理论层面解释了为何基于局部表示修正的防御存在结构性脆弱点。基于该洞察,作者提出 SteerProbe:一种仅依赖输出(output-only)、黑盒的攻击方法,它能在共享的校准预算内,学会为未见过的请求挑选有效的改写形式,而无需白盒访问模型或防御内部。实验覆盖三个 VLM 主干、两个基准、三种激活调控防御;SteerProbe 在全部受防御设置下都提升了有害率(Harmful Rate),每个端点与基准合计仅使用 500 次校准查询,平均有害率从 7.43% 提升到 18.36%。作者由此得出结论:仅在原始基准输入上的鲁棒性不足以刻画激活调控防御的安全水平,应当将改写鲁棒性作为一项重要的评估维度,并进一步推动设计能在意图保持一致的多模态变体下依然维持安全性、同时不损害正常任务效用的调控机制。
💡 推荐理由: 许多团队把激活调控当作 VLM 的低成本推理期护栏,并以其在基准集上的低有害率作为验收依据。该工作表明这种评测会高估真实防护,提示红队与安全评估必须纳入保留意图的多模态改写维度。
🎯 建议动作: 研究跟进:将改写鲁棒性纳入内部 VLM 安全评测方案,评估现有推理期安全护栏在该维度下的实际有效性