#image-generation

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Meng Xie, Li Zeng, Hangtao Zhang, Xianlong Wang, Ziqi Zhou, Pengpeng Qiao, Zhetao Li

本文发现商用图像生成模型(如GPT-Image-2、Nano Banana Pro等)在生成包含可读文本的图像(如海报、信息图)时,存在一种此前未被报告的安全漏洞:这些模型会拒绝直接输出有害文本,但当相同内容以图像中嵌入文本的形式呈现时,安全对齐机制失效,即文本安全对齐无法可靠地迁移到图像中的文本。与现有图像越狱攻击主要诱导模型生成有害视觉对象不同,本文首次提出“指令密集型视觉越狱”概念,使模型在图像中生成详细、可读且可操作的有害指令,从而放大危害。为实例化这一威胁,作者提出TYPO框架,一种黑盒方法,通过自动生成对抗性排版提示,隐蔽地引导模型以高可读性排版文本表达有害意图。TYPO将提示生成分解为文本通道(重构目标意图)和视觉通道(指定呈现形式),并构建双通道文本-视觉策略空间,通过自适应组合搜索优化策略组合。在四个商用模型上的实验表明,TYPO在平均攻击成功率(ASR)上超过9种代表性越狱攻击50.2%,且每次查询成本仅约0.04美元。该研究揭示了图像生成模型文本渲染能力引入的新攻击面,对模型安全对齐提出了挑战。

💡 推荐理由: 该研究揭示了图像生成模型文本渲染能力带来的新安全漏洞,攻击者可通过排版提示生成可读的有害指令,绕过模型的安全对齐。安全团队需关注此类攻击面并评估自身模型的鲁棒性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jinghuai Zhang, Pengyue Yu, Zhexiao Lin, Kunlin Cai, Fnu Suya, Yuan Tian

本文提出 ImageAuditor,一种针对基于图像检索增强生成(IRAG)系统的成员推理攻击(MIA)方法。IRAG 系统利用外部数据库中的参考图像来增强冻结的生成器,支持文本到图像(T2I)和问答(Q&A)任务。由于这些数据库通常不透明且内容来自网络爬取,版权所有者需要审计特定图像是否出现在数据库中。现有的针对单模态文本 RAG 的 MIA 方法无法直接迁移到 IRAG,主要面临两个挑战:一是跨模态检索,无法像文本 RAG 那样通过将目标内容注入查询来强制检索目标图像;二是判别信号提取,IRAG 中的 T2I 生成器输出图像而非文本答案,难以通过问题回答提取成员信号。为克服这些挑战,ImageAuditor 将每个攻击查询分解为检索段和提取段,并分别进行优化。在检索段,提出奖励引导的策略优化(RGPO)方法,通过从奖励排序的候选中更新随机策略来导航跨模态嵌入空间,并具有有限样本最优性保证以平衡探索与利用。在提取段,分析 MIA 评分的分布以协同设计提示策略和评分规则,并为 T2I 和 Q&A 任务推导出特定实例化。通过 K-means 聚类聚合多个查询的信号以做出可靠的成员判断。实验表明,ImageAuditor 在多种 IRAG 系统上仅需每个被审计图像 4 个查询即可达到超过 80% 的 AUROC,并且在各种设置下均表现鲁棒。

💡 推荐理由: 首次提出针对图像多模态 RAG 系统的成员推断攻击,为版权审计和数据泄露风险提供了新的评估工具。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Desen Sun, Jason Hon, Howe Wang, Saarth Rajan, Meng Xu, Sihang Liu

本文研究了一种针对图像生成与编辑工作流的新型安全漏洞。用户在使用生成式AI进行图像设计和创作时,通常采用多轮交互方式:先通过文本生成图像(文本到图像),再通过文本引导进行图像编辑(图像到图像)。研究者发现,在输入图像中嵌入几乎不可见的提示(hint),例如品牌信息(logo),可以被下游生成模型识别,并在后续编辑过程中重新渲染到语义相关的物体上,即使用户提示中并未明确提及该内容。这种隐藏有效载荷注入具有隐蔽性。论文提出了两种现实攻击场景:一是钓鱼场景,攻击者控制在线图像生成服务,在返回给用户之前向生成图像中注入隐藏内容;二是投毒场景,攻击者分发受损的文本到图像扩散模型,其输出包含隐藏内容。实验使用六种注入载荷(包括知名logo和定制设计),两种攻击的平均成功率分别为44.4%和32.2%,同时注入的logo在视觉上难以察觉。此外,研究者还开发了一种缓解方案,针对钓鱼和投毒攻击的平均防御成功率分别达到87.4%和92.3%。该工作揭示了多步生成流程中的安全隐患,并提出了有效防御。适合图像生成服务提供商、安全研究人员以及关注生成式AI安全的人员阅读。

💡 推荐理由: 揭示了一种新颖的、利用多轮图像生成-编辑工作流进行隐蔽注入的攻击方式,可能被用于品牌劫持或钓鱼攻击,对依赖AI图像生成的商业服务构成威胁。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)