#LoRA

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Jiahao Chen, Xing He, Yong Yang, Xinfeng Li, Chunyi Zhou, Junhao Li, Zhe Ma, Tianyu Du, Shouling Ji

该论文首次系统性地研究了文本到图像(T2I)生态系统中LoRA插件的供应链安全风险。随着T2I模型的普及,基于低秩自适应(LoRA)的插件共享生态(如Civitai、Liblib)蓬勃发展,允许用户轻松定制和分享模型能力。然而,这种开放模式带来了严重的安全隐患:恶意用户可能发布看似无害的LoRA插件,实则隐藏恶意功能,从而污染模型市场。论文提出了PoisonLoRA,首次系统化地探索了LoRA插件的供应链风险,利用T2I生态中的信任和特性,识别出两种主要攻击实例:概念劫持(Concept Hijacking)——劫持后的LoRA可生成影响舆论和宣传的图片;任务注入(Task Injection)——通过秘密密钥激活的LoRA被注入以生成有害内容(如NSFW图片)。关键的是,恶意载荷具有类似病毒的传播能力,通过创作协作(如LoRA合并)进行传播,使每个混合作品成为新的载体。在4个场景的6个数据集上,针对Civitai和Liblib的攻击成功率(ASR)接近100%,且不会被平台检测到。PoisonLoRA表现出极强的鲁棒性,即使迁移到不同基模型或经过5次以上混合,ASR仍接近100%。该研究揭示了T2I生态中隐藏的安全威胁,并呼吁社区关注插件供应链安全。

💡 推荐理由: 随着T2I模型流行,LoRA插件生态的安全风险被严重低估。本文首次系统揭示该威胁,为蓝队和平台安全团队提供了新型攻击面的认知,并为后续防御研究奠定基础。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yaopeng Wang, Qingliang Wang, Zhibo Wang, Huiyu Xu, Jiacheng Du, Qiu Wang, Jia-Li Yin, Kui Ren

随着低秩适应(LoRA)在文本到图像扩散模型中的广泛使用,轻量级LoRA模块作为独立资产被共享、复用和商业化,形成了以LoRA为中心的生态系统。这种生态将版权保护的需求从基础模型转移到了分布式LoRA模块上,而后者极易被未经授权地复制、重新分发或重用。现有的水印方法要么保护基础扩散模型本身,要么需要为每个目标LoRA进行水印感知的重新训练,这限制了它们在开放社区中的实用性。为克服这一局限,本文提出LoRA-Key,一种以用户为中心的LoRA水印框架,将版权保护视为可复用的所有权密钥。LoRA-Key将一个可恢复的秘密消息封装到一个独立的、用户特定的Watermark LoRA中,该Watermark LoRA可通过免训练的线性叠加附加到不同的目标LoRA上,无需针对每个LoRA重新训练或修改其结构。为训练这种可复用的密钥,作者首先在冻结的VAE潜在空间中建立潜在水印先验,以实现鲁棒的消息嵌入和恢复;然后通过消息条件水印监督和语义一致性约束来优化Watermark LoRA。此外,引入梯度正交投影(GOP)来抑制与语义保持方向冲突的水印更新,减少对生成保真度和下游风格适应的干扰。大量实验表明,LoRA-Key提供了轻量级、即插即用的版权保护,同时保持了生成质量和风格保真度,并在图像级失真、下游微调及多LoRA组合场景下维持了鲁棒的所有权验证。

💡 推荐理由: 为LoRA模块提供了一种无需修改目标LoRA、可复用的水印方案,解决了开放社区中LoRA版权保护的实用性问题。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)