对比语言-图像预训练(CLIP)凭借强大的迁移能力和零样本能力已成为主流视觉骨干网络,广泛用于图像检索、零样本分类与多模态理解。然而近期研究揭示了一类关键漏洞:嵌入空间后门攻击。攻击者只需污染极少量图像-文本对,即可向 CLIP 的联合嵌入空间植入隐蔽触发器,使表征发生定向偏移。与传统操纵分类器 logits 的后门不同,这类攻击直接污染表征本身,因此在极低投毒率下依然高效,且难以检测。现有防御大多依赖模型参数、梯度、logits 或干净验证数据,而这些假设在真实的黑盒部署中通常不成立;同时现有黑盒方法难以准确本地化小尺寸或分布外触发器。为此,作者提出 CLIPGuard——一种轻量、完全黑盒的防御方案,专门缓解 CLIP 编码器中的嵌入空间后门。CLIPGuard 通过分段级嵌入扰动度量来识别恶意区域,并仅对可疑分段执行语义修复(semantic inpainting)完成净化,从而保留良性视觉内容与图文对齐质量。在 STL-10、ImageNet 上针对 BadCLIP、BadNets、blended、patch-based、typographic 等多种触发器家族的实验表明,CLIPGuard 可将攻击成功率降至最低 1.05%,同时干净准确率最高保持 86.34%,持续优于 CleanCLIP、CleanerCLIP 等既有黑盒防御。代码已开源。该工作适合视觉模型安全、后门防御、多模态系统与 MLOps/SOC 安全研究人员阅读。
💡 推荐理由: CLIP 被广泛用作视觉骨干与多模态基础设施,嵌入空间后门只需极少投毒即可造成表征级定向偏移,且传统依赖参数/梯度的防御在黑盒场景失效。CLIPGuard 提供无需参数、梯度与干净数据的区域级净化思路,对第三方预训练模型的风险治理有直接参考价值。
🎯 建议动作: 研究跟进,并评估在自有 CLIP 部署中的黑盒净化可行性