#diffusion models

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Omid Ahmadieh, Nima Karimian

本文提出了一种名为 Adv-TGD 的生成式对抗攻击框架,用于对人脸识别系统实施身份冒充攻击。该框架基于 Stable Diffusion,通过对每个源-目标身份对进行轻量级 LoRA 微调,生成逼真的人脸图像,能够欺骗主流人脸识别模型。与传统方法不同,Adv-TGD 在单步去噪过程中优化交叉注意力适配器,并通过人脸局部热图掩码约束潜在空间混合,确保身份操纵的精确性和非敏感区域的保真度。损失函数结合了掩码 MSE 重建、身份嵌入空间的阈值化差异、方向特征对齐以及源相似度抑制,以平衡攻击效果与视觉真实性。此外,可选的 LLaVA 生成属性提示可增强细粒度语义细节而不引入身份线索。在黑盒评估协议下,Adv-TGD 在 IR152、IRSE50、MobileFace 和 FaceNet 等模型上平均攻击成功率达 85.90%,优于现有语义基线 Adv-CPG(+6.25%)、扩散方法 DiffAIM(+3%)和噪声方法 P3-Mask(+16%),同时保持高视觉保真度(PSNR=27.15 dB,SSIM=0.981)。实验还展示了框架在野外数据集 LADN、通用物体分类(ImageNet)以及 Transformer 扩散模型(FLUX.1)上的可扩展性。该研究揭示了扩散模型在生成对抗性人脸图像方面的潜力,并对人脸识别系统的安全性提出了新挑战。

💡 推荐理由: 本文展示了一种基于扩散模型的高成功率身份冒充攻击方法,可能被用于绕过人脸识别系统,对生物识别安全构成威胁。安全从业者需关注此类攻击向量,以提前部署防御措施。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yaopeng Wang, Qingliang Wang, Zhibo Wang, Huiyu Xu, Jiacheng Du, Qiu Wang, Jia-Li Yin, Kui Ren

随着低秩适应(LoRA)在文本到图像扩散模型中的广泛使用,轻量级LoRA模块作为独立资产被共享、复用和商业化,形成了以LoRA为中心的生态系统。这种生态将版权保护的需求从基础模型转移到了分布式LoRA模块上,而后者极易被未经授权地复制、重新分发或重用。现有的水印方法要么保护基础扩散模型本身,要么需要为每个目标LoRA进行水印感知的重新训练,这限制了它们在开放社区中的实用性。为克服这一局限,本文提出LoRA-Key,一种以用户为中心的LoRA水印框架,将版权保护视为可复用的所有权密钥。LoRA-Key将一个可恢复的秘密消息封装到一个独立的、用户特定的Watermark LoRA中,该Watermark LoRA可通过免训练的线性叠加附加到不同的目标LoRA上,无需针对每个LoRA重新训练或修改其结构。为训练这种可复用的密钥,作者首先在冻结的VAE潜在空间中建立潜在水印先验,以实现鲁棒的消息嵌入和恢复;然后通过消息条件水印监督和语义一致性约束来优化Watermark LoRA。此外,引入梯度正交投影(GOP)来抑制与语义保持方向冲突的水印更新,减少对生成保真度和下游风格适应的干扰。大量实验表明,LoRA-Key提供了轻量级、即插即用的版权保护,同时保持了生成质量和风格保真度,并在图像级失真、下游微调及多LoRA组合场景下维持了鲁棒的所有权验证。

💡 推荐理由: 为LoRA模块提供了一种无需修改目标LoRA、可复用的水印方案,解决了开放社区中LoRA版权保护的实用性问题。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)