视觉语言模型(VLM)具备强大的多模态理解与生成能力,已被广泛用于图文问答、检索、多模态 Agent 感知等场景。但其微调流程通常依赖第三方或不可信数据,攻击者可通过在微调数据中投毒,向模型植入后门:在正常输入上表现正常,一旦出现特定触发模式便输出攻击者预设的结果。针对这一威胁,现有防御存在两类代价:一类需要在微调阶段进行大量参数更新,训练成本高且容易损害干净任务性能;另一类在推理阶段引入逐查询的额外计算开销,难以在大规模在线服务中落地。本文提出 Perturb-Select-Restore(PSR),一种训练后(post-training)防御方法,仅对模型中的投影接口(projection interface,即连接视觉编码器与语言模型的投影层)做稀疏参数更新,并且推理阶段不引入任何额外计算。作者的关键发现是:被植入后门的 VLM 投影器对受限扰动(bounded perturbation)的敏感程度显著高于干净模型的投影器,作者将这一现象命名为“投影脆弱性(projection fragility)”。基于该现象,PSR 在每一个投影层中定位对扰动最敏感的输出通道,并将这些通道的参数恢复到对应的预训练初始值,从而在不重训整个模型的前提下削弱后门通路。跨多个任务的实验表明,PSR 能将攻击成功率降至接近零,同时基本保持干净任务上的原始性能。该工作为 VLM 供应链与微调安全提供了一种低成本、可部署的防御思路,适合研究 VLM 后门攻防、多模态对齐与模型供应链安全的读者。
💡 推荐理由: VLM 后门一旦进入生产,可在正常流量下长期潜伏,危害多模态 Agent、内容审核与检索系统。PSR 无需推理开销、无需整体重训,为部署侧提供低成本后门缓解路径,对评估第三方微调权重风险很有参考价值。
🎯 建议动作: 研究跟进