#image-generation

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Desen Sun, Jason Hon, Howe Wang, Saarth Rajan, Meng Xu, Sihang Liu

本文研究了一种针对图像生成与编辑工作流的新型安全漏洞。用户在使用生成式AI进行图像设计和创作时,通常采用多轮交互方式:先通过文本生成图像(文本到图像),再通过文本引导进行图像编辑(图像到图像)。研究者发现,在输入图像中嵌入几乎不可见的提示(hint),例如品牌信息(logo),可以被下游生成模型识别,并在后续编辑过程中重新渲染到语义相关的物体上,即使用户提示中并未明确提及该内容。这种隐藏有效载荷注入具有隐蔽性。论文提出了两种现实攻击场景:一是钓鱼场景,攻击者控制在线图像生成服务,在返回给用户之前向生成图像中注入隐藏内容;二是投毒场景,攻击者分发受损的文本到图像扩散模型,其输出包含隐藏内容。实验使用六种注入载荷(包括知名logo和定制设计),两种攻击的平均成功率分别为44.4%和32.2%,同时注入的logo在视觉上难以察觉。此外,研究者还开发了一种缓解方案,针对钓鱼和投毒攻击的平均防御成功率分别达到87.4%和92.3%。该工作揭示了多步生成流程中的安全隐患,并提出了有效防御。适合图像生成服务提供商、安全研究人员以及关注生成式AI安全的人员阅读。

💡 推荐理由: 揭示了一种新颖的、利用多轮图像生成-编辑工作流进行隐蔽注入的攻击方式,可能被用于品牌劫持或钓鱼攻击,对依赖AI图像生成的商业服务构成威胁。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)