#text-to-image

共收录 12 条相关安全情报。

← 返回所有主题
👥 作者: Junjian Li, Xiaolong Liu, Peng Sun, Liantao Wu, Linghan Chen, Yudong Gao, Honglong Chen

本文针对文本到图像(T2I)扩散模型的后门防御问题,提出从“转移动力学”(transition dynamics)视角进行检测与定位的新框架 NDDL(Normal Diffusion Dynamics Learning)。现有防御通常依赖内部表示中特定的异常模式来识别后门,然而随着攻击机制日益多样,这类基于特定模式的方法泛化性受限。作者观察到良性扩散轨迹在跨注意力空间、潜在空间与噪声空间中呈现出结构化且与时间步相关的转移规律,而后门攻击会导致轨迹偏离这种正常演化。基于这一观察,NDDL 仅使用良性样本学习扩散轨迹的正常转移动力学:首先构建紧凑的多空间轨迹表示,然后训练一个以时间步为条件的动力学模型,用于预测扩散过程的演化。推理阶段,通过比较实际观测到的转移与模型预测的转移之间的偏差,量化动力学不一致性(dynamics inconsistency),并据此判定后门。此外,NDDL 无需预先了解后门触发器的任何先验知识,通过用低语义词汇进行替换(substitution with low-semantic words)即可实现触发器定位。论文在多种后门攻击上开展了大量实验,验证了 NDDL 的有效性和泛化能力。整体而言,该工作为 T2I 扩散模型供应链与部署安全提供了一种与具体攻击模式解耦的通用防御思路,适合从事生成式模型安全、AI 供应链安全与模型后门检测的研究与工程人员阅读。

💡 推荐理由: T2I 扩散模型广泛集成于内容生产与业务系统,其权重与微调数据常来自不可信来源,后门风险高。该工作提出不依赖特定攻击模式的动力学一致性检测,仅需良性样本即可训练,便于落地到模型上线前评估与推理期监控,降低隐藏触发器风险。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yi Sun, Xinhao Zhong, Zhiqi Zhang, Yimin Zhou, Junhao Li, Yuxia Qiao

该论文关注文本到图像(T2I)生成模型中的概念擦除安全技术。背景是 T2I 生成能力增强,但可能生成有害或不良内容。现有概念擦除方法多采用静态权重范式:训练一个冻结的适配器,难以适应多样化的提示词变化,并且在扩展到多个概念时会出现参数干扰。作者提出 HyperErase,一种基于超网络驱动、以提示词为条件的参数合成框架。其核心思路是把概念擦除重新定义为提示词条件下的参数摊销,训练超网络将文本描述映射为特定提示词的 LoRA 更新,从而不需要逐提示词梯度优化,也无需手动合并 LoRA。为提升合成适配器的稳定性与精度,论文设计解耦校正策略:将 LoRA 令牌解耦为模式子空间和尺度子空间,对尺度应用平方根变换以抑制乘性过度缩放,并利用教师模型导出的规范先验进行推理时校正。实验覆盖主要概念类别,证明 HyperErase 在擦除效果、图像质量和语义对齐之间取得更优权衡,性能可与金标准单概念基线相当。生成的模型可在单次前向传播中为每个输入提示词变体提供专门 LoRA,且推理阶段无需梯度更新。适合关注生成式 AI 安全、模型对齐、内容治理与红队防御的研究者和工程师阅读。

💡 推荐理由: 为大模型生成内容治理提供新思路:以超网络按提示词动态合成擦除适配器,缓解多概念擦除中的参数干扰和泛化不足,对 T2I 安全发布和合规过滤有直接参考价值。

🎯 建议动作: 研究跟进并纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jin Wei, Rundong Li, Ruihao Yang, Yikai Wang, Xiaoyuan Duan, Jianxiong Wu, Yanbo Wang, Chang Xu, Lingyun Zhang, Zhuyang Yu, Ping Chen, Jun Dai, Xiaoyan Sun

该论文研究文本到图像扩散模型(如 Stable Diffusion)中多 LoRA 适配器组合加载时的安全问题。背景是:用户常把多个低秩适配(LoRA)叠加使用,以实现不同主体、风格与视觉属性的个性化定制,而当前的安全审查通常只逐个检查单个适配器是否安全,这种做法被证明不足以判断组合后的行为。作者识别并刻画了一类“成对条件触发”攻击:两个单独使用时功能正常、外表无害的适配器,在与一个特定匹配的伙伴适配器同时加载时,会改写图像生成结果,且触发条件就是伙伴适配器的身份,而非提示词或输入图像本身。为验证该风险,作者提出 LoRango 框架,由互补的 Signature 适配器与 Payload 适配器构成。Signature 负责把与配对相关的编码写入中间载体表示;Payload 则依赖“代码选择性响应”以及相互对立的信号分支与参考分支来实现条件性激活。在单独加载或与不匹配适配器配对时,两分支近似抵消,因此行为保持正常;只有当匹配的“代码读取”对齐发生时,抵消在原生 GEGLU 块内被打破,被预置的动作才被释放。两个适配器都被导出为普通静态 LoRA 文件,兼容标准加载器,无需提示词触发,也无需修改基础推理管线。实验显示:匹配配对下攻击成功率在 SD v1.5 上达 97.9%,在 SDXL 上达 98.7%;而单独加载这些植入适配器时仅为 2.8%–4.6%。论文还评估了配对选择性、单适配器保真度、部署环境变化下的鲁棒性,以及在不同去噪器架构上的可迁移性。结论是:仅逐个审查适配器无法评估多 LoRA 个性化组合的安全性,必须对适配器组合进行审计。适合从事生成式模型安全、模型供应链与平台审核的研究者与工程师阅读。

💡 推荐理由: 它表明模型供应链安全存在新的盲区:逐个扫描单个 LoRA 文件不足以发现风险,两个看似无害的适配器组合后可被条件性激活并改写生成内容,现有平台的热门适配器审核流程可能被绕过,需转向组合级审计。

🎯 建议动作: 研究跟进,并纳入内部多适配器/多组件组合安全评估流程

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zihao Wang, Jiacen Xu, Zilong Lin

该论文对开源文生图(T2I)生态中一类被刻意改造、用于提供有害服务的模型进行了首次系统性、生态级别的测量研究。作者将这类模型命名为 Monet。以往研究只针对单一平台上特定类型的有害 T2I 模型,但 Monet 并非孤立存在,其背后横跨模型特征、跨平台传播、监管规避、商业化变现与下游部署的完整生态长期缺乏认知。研究方法上,作者以真实模型托管平台的服务条款为依据,构建了包含十类有害服务的分类体系;随后在八个主流 T2I 模型平台上开展大规模普查,共识别出 23,947 个 Monet,其中热度最高的单个模型下载量超过 1900 万次。测量结果揭示了几条关键链路:第一,部分开发者虽然部署了防盗机制以阻止未授权二次上传,但 Monet 仍以规模化方式跨平台传播,40.76% 的 Monet 在多个平台存在镜像副本;第二,这种跨平台传播进一步支撑了监管规避,通过跨平台存档,11.99% 的 Monet 即使在原平台被封禁后仍可继续访问,此外还存在关键词混淆、绕过模型级安全防护等规避手法;第三,Monet 还被用于组织化的商业活动,例如一个包含 668 个模型、完成 914 笔委托订单的商业推广活动,以及为灰产账号养号服务做广告的活动;第四,这些模型通过 GitHub 项目与推理 API 触达终端用户,引发了下游儿童安全方面的担忧。论文的核心贡献在于:提出面向真实平台政策的十类有害服务分类体系,完成首个跨八个平台、近两万四千个模型的生态级测量,量化了跨平台镜像率、封禁后仍可访问比例等传播与规避指标,并刻画了 Monet 的商业化与下游分发路径。研究结论指出,单平台割裂式防御存在明显局限,需要跨平台威胁情报共享、协同治理以及技术层面的防护措施。该工作适合平台信任与安全团队、内容风控与模型治理研究者、AI 供应链安全从业者以及从事儿童安全与灰产治理的人员阅读。

💡 推荐理由: 它首次量化了有害文生图模型的跨平台传播、封禁规避与商业化链路,证明按平台单点封禁无法根治问题,为蓝队提供了供应链级风险视角与跨平台情报需求依据。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zihan Wang, Boheng Li, Rui Zhang, Wenshu Fan, Qingchuan Zhao, Tianwei Zhang, Hongwei Li, Guowen Xu

本文研究的是文生图(Text-to-Image, T2I)服务面临的一类知识产权窃取风险:黑盒输出蒸馏(black-box output-based distillation)。攻击者无需接触模型权重,只需反复调用在线服务、收集大量「提示词—生成图像」配对数据,就能训练出一个模仿原服务生成行为的未授权替代模型,从而绕开订阅或授权机制、复用服务商的核心生成能力。现有的防御思路是「扰动式防御」:对每一张生成的图像做逐样本(sample-wise)优化,使其在视觉上仍然自然,但一旦被用于训练就会污染替代模型,降低其生成质量。问题在于,逐样本优化需要在线反复迭代,带来巨大的算力开销与推理时延,直接损害线上服务的可用性和用户体验。一个自然的改进方向是把防御性扰动直接「编译」进 VAE 解码器,让受保护的模型在生成阶段就自动输出带防御效果的图像,彻底免除在线逐样本优化。但作者通过实证发现,这种共享解码器方案存在目标可达性困境:与逐样本优化相比,共享解码器引起的隐空间偏移(latent shift)明显更小,即原有目标函数在共享参数的设定下「够不到」预期的破坏强度,说明在该场景下目标的可达性比单样本的破坏性更重要。为此论文提出 RAPID 框架:一是自参考隐空间最大化(self-referenced latent maximization),去除对外部参考模型的依赖,并让同一次模型更新在各类训练样本上都能产生一致的破坏效果,从而提升目标可达性;二是重建引导的颜色正则化(reconstruction-guided color regularization),阻断模型利用隐空间「捷径」绕开扰动、并强化视觉层面的破坏性。作者在四个 T2I 模型、四个数据集上,与五种代表性基线方法对比,结果显示 RAPID 能在保持服务自身图像视觉保真度的前提下,稳定降低替代模型的生成质量。该工作为部署态 T2I 系统提供了一种实时、可落地的防未授权蒸馏范式。

💡 推荐理由: 模型蒸馏/模型窃取是 AI 服务上线后的现实威胁,而现有防御要么算力代价过高、要么无法在推理路径上落地。RAPID 把防御前移到 VAE 解码器,使实时防护成为可能,对运营 T2I API 的团队具有直接工程参考价值,也提示了「目标可达性」这一被忽视的防御设计要点。

🎯 建议动作: 研究跟进,并纳入内部模型服务防护方案评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Shawn Shan, Wenxin Ding, Josephine Passananti, Stanley Wu, Haitao Zheng 0001, Ben Y. Zhao

该论文针对基于扩散模型的文生图模型,提出了一种名为 Nightshade 的提示词特异性投毒攻击方法。研究背景是:扩散模型通常在数十亿张图像上训练,传统的数据投毒攻击往往需要污染近 20% 的训练样本才能生效,因此被认为对这类模型几乎无效。但作者指出两点关键洞察:第一,虽然模型训练数据规模巨大,但针对某一个具体概念或提示词的训练样本数量通常只有数千张,这为针对特定提示词的投毒攻击提供了可行性;第二,投毒样本可以被精心构造以最大化攻击效力,从而用极少量样本实现成功攻击。基于这些洞察,Nightshade 攻击被设计为一种高效能、提示词特异性的投毒方法。实验表明,在 Stable Diffusion 最新模型 SDXL 上,仅用不到 100 个投毒训练样本就能完全控制某个特定提示词的生成输出。Nightshade 生成的投毒图像在视觉上与正常图像几乎无法区分,具有很强的隐蔽性;并且投毒效果可以“渗透”到相关概念,即影响与目标提示词语义相近的生成结果。更重要的是,对多个独立提示词进行中等规模的 Nightshade 攻击,可以破坏模型的整体稳定性,导致模型对所有提示词都无法正常生成图像。论文最后提出,Nightshade 这类工具可以被内容所有者用作防御手段,以对抗那些无视 opt-out 或 do-not-crawl 指令的网页爬虫。文章讨论了该攻击对模型训练者和内容所有者的潜在影响,包括训练方可能面临的供应链风险以及内容所有者可获得的保护能力。该研究主要面向深度学习安全、生成模型安全以及数据治理领域的研究者,也适用于模型训练平台和内容版权方理解并缓解此类威胁。

💡 推荐理由: 该研究表明文生图模型并非对数据投毒免疫,少量高质量投毒样本即可破坏特定提示词乃至整个模型的生成能力,对依赖大规模爬取数据训练模型的公司构成现实供应链风险,也启发内容所有者的新型防御思路。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ana-Maria Cretu 0002, Klim Kireev, Amro Abdalla, Wisdom Obinna, Raphael Meier, Sarah Adel Bargal, Elissa M. Redmiles, Carmela Troncoso

本文评估了从文生图模型(如扩散模型)的训练数据中过滤儿童图像以阻止模型被滥用于生成儿童性虐待材料(CSAM)的有效性。首先,作者通过基于游戏的安全定义捕捉了防止CSAM生成的复杂性,指出过滤防御需平衡攻击者能力和模型实用性。其次,实证表明现有检测方法(如基于感知哈希或分类器)无法从数据集中完全移除所有儿童图像,存在漏网之鱼。第三,以“戴眼镜的儿童”作为CSAM的伦理代理,实验发现即使训练数据中仅残留少量儿童图像(过滤后),攻击者仍可通过特定提示策略(如重复采样或组合概念)以略多于未过滤模型的查询次数生成戴眼镜的儿童。若对过滤后的模型进行微调(使用少量儿童图像),额外查询开销进一步降低。此外,即使过滤完美(训练数据中无儿童图像),攻击者仍可通过微调(例如使用少量外部儿童图像)重新引入生成儿童概念的能力。结果表明,当前儿童过滤方法对闭源模型提供有限保护,对开源模型则完全无效,且过滤会损害模型通用性(如削弱儿童相关概念生成或改变其语义表示)。最后,作者指出了评估概念过滤防御对CSAM影响时面临的挑战,包括缺乏真实CSAM数据、伦理约束及可迁移性等问题。本文适合从事AIGC安全、内容审核、模型鲁棒性研究的学者及平台安全策略制定者阅读。

💡 推荐理由: 揭示了当前基于数据过滤的CSAM防护存在根本性缺陷,攻击者可通过少量残留样本或微调绕过防御,对开源模型尤其危险。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Peilin Han, Yang Liu, Yilong Yang, Jingchun Zhang, Teng Li, Jianfeng Ma, Zhuo Ma

本文对野外(in-the-wild)文本到图像(T2I)模型的安全性进行了大规模实证研究。现有关于T2I越狱(jailbreak)的安全研究大多在受控实验室环境下进行,通常只针对少量经典模型,因此快速增长的野外T2I生态系统当前的安全状况尚不清楚。这种不确定性因两个因素而加剧:现有的基于检测器的指标是为受控评估而设计的,且野外风险不仅可能来自对抗性提示,还可能来自不安全的发布实践和不安全的模型衍生品。本文通过越狱的视角对野外T2I安全性进行了大规模实证研究。首先,作者发现仅使用检测器的越狱指标由于语义漂移和生成伪影,会显著高估野外实际风险,并提出了Advanced ASR(高级攻击成功率)指标,以更好地捕获语义有效且视觉上可信的不安全生成。使用这一改进指标,作者在三种代表性越狱攻击下评估了来自Hugging Face的200多个野外T2I模型。结果表明,许多下游模型即使没有明确的事后防护措施,仍保留了相当程度的安全性,表明野外安全性退化既非普遍也非均匀。同时,作者识别出一组高风险模型,包括明确面向NSFW的发布以及看似良性但通过系统评估才暴露不安全行为的模型。作者进一步追溯这些模型的发布背景,并向Hugging Face报告了高风险案例。

💡 推荐理由: 揭示了T2I模型在野外环境下的真实安全风险,修正了现有评估方法的偏差,为安全从业者提供更准确的威胁评估依据。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Leyi Sheng, Han Sun, Zhen Sun, Yuntao Yue, Jinlin Wu, Xinlei He, Jiaheng Wei

本文针对文本到图像(T2I)生成模型越狱评估中存在的复现性和可比性问题,提出了一种自演进论文到管线智能体框架PixJail。当前T2I越狱技术发展迅速,但现有基准和复现工作流难以同步更新;更重要的是,T2I越狱评估并非单次提示级测试,而是一个由多个阶段构成的管线级问题,包括提示转换、图像生成、安全过滤和多模态评判等环节,导致不同论文的结果难以可靠复现和公平比较。PixJail通过以下方式解决该问题:给定一篇T2I越狱论文及可选参考代码,在统一合约下快速构建论文特定的攻击模块和可运行的评估管线,并忠实复现原始实验结果;同时维护一个记忆库,存储论文摘要、攻击演化模式、可复用模板、失败案例及版本化工件,使后续复现工作能够复用先前经验。作者复现了11种代表性T2I越狱方法(包括有代码和无代码论文),在其原始设置下,框架能以极小误差(平均2.1%,中位数0%)准确恢复先前结果。PixJail旨在为未来T2I越狱复现和评估提供统一基础,大幅减少人工工作量。该工作主要面向安全研究社区,特别是关注生成式AI安全评估的从业者。

💡 推荐理由: T2I越狱评估的复现性是生成式AI安全领域的痛点。PixJail提供自动化、可扩展的复现框架,有助于标准化评估流程,提升研究可信度,为防御者跟进最新攻击手法并设计对策提供基础。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jianwei Fei, Yunshu Dai, Zhihua Xia, Xiaochun Cao, Jiantao Zhou, Alessandro Piva, Benedetta Tondi

本文提出了一种针对文本到图像(T2I)扩散模型的高效、鲁棒且抗合谋的模型指纹识别方法。现有模型指纹技术通过向生成图像嵌入用户特定标识符来保护知识产权,但普遍存在一个未探索的系统性漏洞:它们缺乏对抗合谋攻击的鲁棒性。合谋攻击中,多个攻击者联合其模型以移除或隐藏指纹。为此,本文首次提出具有抗合谋能力的T2I模型指纹方法。该方法将二进制位字符串(指纹)编码到个性化归一化模块(PNM)的系数中,该模块被集成到T2I模型中,使得从任何生成图像中都能可靠地恢复指纹。为防御合谋攻击并防止未授权模型再分发,引入了一种基于无损函数不变参数变换的抗合谋机制,该机制显著降低合谋模型的图像生成质量(通过增加FID指标),使其实际上不可用。此外,该方法允许开发者通过重新参数化PNM高效地创建多个带指纹的T2I模型副本,而无需重新训练。还引入了一种最坏情况优化策略,以提高对模型级攻击的鲁棒性。实验表明,该方法在多个T2I图像生成和编辑任务中实现了高保真度和鲁棒性,指纹提取准确率超过99.5%。与现有方法相比,该方法首次通过显著增加合谋模型的FID,展现出对合谋攻击的主动鲁棒性。该研究适合AI安全研究人员、模型开发者及知识产权保护相关从业者阅读。

💡 推荐理由: 揭示了现有模型指纹方法在合谋攻击下的系统性漏洞,并首次提出有效的抗合谋方案,对保护生成式AI模型的版权和防止非法分发具有重要实践意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yilan Gao, Sida Huang, Hongyuan Zhang, Xuelong Li

本文针对文本到图像生成模型(如 Stable Diffusion)在作为云端 API 服务部署时面临的模型窃取攻击展开研究。攻击者可以通过反复查询 API 收集大量生成的合成图像,并用这些图像训练私有替代模型,从而实现未经授权的知识蒸馏和能力复制,而无需访问原始模型权重。现有防御方法难以在保持输出图像视觉质量、提供显式扰动幅度控制以及高效处理大规模输出之间取得平衡。为此,作者提出了一种基于单次生成器(single-pass)的保护框架 WaveGuard。WaveGuard 采用频率感知的扰动生成器,在用户指定的扰动预算下对每张合成图像注入结构化、不可感知的扰动。这些扰动对于正常观看者几乎不可见,但能显著降低受保护图像作为训练数据对未授权学生模型的有效性。在 WikiArt 数据集上的合成输出蒸馏实验表明,WaveGuard 在有效性、保真度和效率三者之间取得了良好权衡,实现了显式的不可感知性控制,并大幅提升了保护效率。该方法不需要修改原始生成模型,仅需在输出图像上叠加扰动,可无缝集成到现有 API 管道中。

💡 推荐理由: 随着生成式AI服务商业化,模型窃取成为重大安全威胁。本文提出一种实用、高效的防御方案,在不影响用户体验的前提下干扰攻击者训练替代模型,对保护商业模型知识产权具有直接价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yingkai Dong, Xiangtao Meng, Ning Yu 0006, Zheng Li 0023, Shanqing Guo

本文提出 JailFuzzer,一种基于大语言模型(LLM)代理的自动化模糊测试框架,用于黑盒环境下对文本到图像(T2I)生成模型进行越狱攻击。现有越狱方法存在访问需求不切实际、提示语不自然易被检测、搜索空间受限以及查询开销高等问题。JailFuzzer 结合模糊测试原理与 LLM 代理,包含三个核心组件:种子池(存储初始及越狱提示)、引导变异引擎(利用 LLM 代理生成语义有意义的变异)、以及 oracle 函数(评估越狱是否成功)。通过 LLM 代理构建引导变异引擎和 oracle 函数,使得框架在黑盒环境下保持高效性和适应性。大量实验表明,JailFuzzer 在越狱 T2I 模型方面具有显著优势:生成的提示自然且语义连贯,降低了被传统防御机制检测的概率;同时以极少的查询开销实现高成功率,在所有关键指标上优于现有方法。该研究揭示了 T2I 模型面临的新型越狱威胁,为强化生成模型的安全机制提供了重要参考。JailFuzzer 已开源,代码可在 https://github.com/YingkaiD/JailFuzzer 获取。

💡 推荐理由: 该研究展示了一种高效、自动化的黑盒越狱攻击方法,对 T2I 模型构成真实威胁,安全团队需关注并防范此类利用 LLM 代理的模糊测试攻击。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)