#image-safety

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Xiang Yang, Feifei Li, Mi Zhang, Geng Hong, Xiaoyu You, Mi Wen, Min Yang

该论文聚焦于多模态扩散变换器(DiT)中图像生成的安全性问题。尽管DiT结合多模态注意力(MM-Attn)已成为图像生成的主流架构,但在图像到图像(I2I)编辑等任务中,防止生成有害内容仍是一大挑战。现有安全机制多针对文本到图像(T2I)合成或U-Net架构,难以有效应用于基于DiT的统一安全缓解。为此,作者提出无需训练的安全生成框架——统一视觉安全调节器(UVR),通过限制不安全信息流来调控生成图像中的不安全语义。UVR基于对MM-Attn中信息流视角的注意力动态分析,发现一个与任务无关的启动阶段,在该阶段输出补丁中的不安全语义快速涌现并可被精确定位;随后进入任务特定的语义放大和干扰阶段,有害信号进一步传播并与良性内容纠缠。基于此观察,UVR通过对识别的不安全输出补丁实施统一的、目标性的注意力调制,并明确限制有害信息流,从而缓解不安全生成。实验涵盖多种概念,结果显示UVR在图像合成和编辑任务中分别达到91%和77%的擦除率,同时最小化视觉质量损失。代码已开源。该工作适用于图像生成安全、多模态模型对齐等方向的研究者。

💡 推荐理由: 提出了一种无需微调即可统一应用于图像生成与编辑任务的安全方法,基于注意力机制的信息流分析,为多模态扩散模型的安全对齐提供了新范式。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)