该论文关注大型视觉语言模型(LVLM)在推理加速中被广泛采用的视觉 token 压缩技术所引入的安全盲区。压缩能显著降低推理成本,但现有鲁棒性评估多用聚合指标,无法回答一个关键归因问题:某次对抗性失败究竟是由压缩过程新增的,还是原本就继承自底层模型本身?作者将这类问题形式化为“压缩特异性失败”(Compression-Specific Failure, CSF)——即同一对抗输入在全 token 推理下仍然输出正确,但在压缩后推理下失败,从而把压缩带来的风险转化为一个成对失败归因问题。围绕这一界定,作者在受控诊断队列中开展反事实实验,发现“保留集分配”(即压缩时哪些视觉 token 被保留)会因果性地改变压缩后的正确性,并且在该被移出的证据上,模型恢复能力与表征漂移之间存在负相关关系,说明证据在压缩过程中发生表征偏移会削弱模型纠错能力。基于这些发现,作者提出 CIRA(Compression-Induced Risk Attack),一种针对 LVLM 的压缩诱发风险攻击方法:在视觉编码器白盒设定下,通过编码器侧的目标函数优化图像扰动,使其在多个候选压缩预算下操纵 token 优先级排序,同时尽量保持被移出证据的信息;该方法不需要下游问题或标签,也无需访问语言模型、实际部署的压缩器或确切的压缩预算。实验在 12 组数据集-压缩器组合、4 种压缩预算下评估,平均 CSFR 达 20.35%,而全 token 攻击成功率仅为 6.92%,在其他 LVLM 系列上表现类似。作者还提出跨视图选择稳定化防御,可大幅抑制 CIRA,但自适应版 CIRA 能部分恢复效果。结论是:压缩特异失败在受限访问条件下依然持续存在,建议对全 token 与压缩推理进行成对评估,以正确归因视觉 token 压缩带来的风险。
💡 推荐理由: LVLM 普遍靠视觉 token 压缩降本,但现有评测只看聚合鲁棒性,会把“压缩新增的漏洞”误判为模型固有缺陷,从而漏掉压缩模块这一独立攻击面。该工作给出成对归因框架与可度量的压缩特异失败指标,提醒安全团队把压缩器纳入威胁模型并单独评估。
🎯 建议动作: 研究跟进