#adversarial-protection

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Weiwei Tan, Junxian Li, Rui Wang, Zhenhua Xu, Yanjun Zhang, Yu Leo Zhang

该论文针对统一多模态模型(UMMs)在指令式图像编辑中可能被恶意利用来篡改个人肖像的问题,提出了一种对抗性保护框架CCS。作者首先分析了UMMs中视觉理解分支(基于ViT)和生成分支(基于VAE)的特征级一致性,发现单个分支的特征扰动不足以持续破坏编辑效果,因为两个分支之间存在结构一致性,且扰动在多模态融合和生成过程中会被衰减。基于此,CCS通过联合驱动ViT和VAE表示远离其干净版本,并利用线性CKA显式破坏跨分支兼容性,从而移除稳定身份信息并创建不兼容的视觉上下文,阻止UMMs在编辑过程中恢复可靠的身份信息。实验表明,CCS在抑制身份保持编辑方面持续优于现有保护方法,为面部身份在图像编辑中的安全性提供了新思路。

💡 推荐理由: 随着UMMs的流行,个人面部肖像面临未经授权编辑的风险。该研究首次从跨分支冲突角度提出防御,为保护身份信息提供了有效方法,对隐私安全从业者具有参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)