该论文研究文本到图像扩散模型(如 Stable Diffusion)中多 LoRA 适配器组合加载时的安全问题。背景是:用户常把多个低秩适配(LoRA)叠加使用,以实现不同主体、风格与视觉属性的个性化定制,而当前的安全审查通常只逐个检查单个适配器是否安全,这种做法被证明不足以判断组合后的行为。作者识别并刻画了一类“成对条件触发”攻击:两个单独使用时功能正常、外表无害的适配器,在与一个特定匹配的伙伴适配器同时加载时,会改写图像生成结果,且触发条件就是伙伴适配器的身份,而非提示词或输入图像本身。为验证该风险,作者提出 LoRango 框架,由互补的 Signature 适配器与 Payload 适配器构成。Signature 负责把与配对相关的编码写入中间载体表示;Payload 则依赖“代码选择性响应”以及相互对立的信号分支与参考分支来实现条件性激活。在单独加载或与不匹配适配器配对时,两分支近似抵消,因此行为保持正常;只有当匹配的“代码读取”对齐发生时,抵消在原生 GEGLU 块内被打破,被预置的动作才被释放。两个适配器都被导出为普通静态 LoRA 文件,兼容标准加载器,无需提示词触发,也无需修改基础推理管线。实验显示:匹配配对下攻击成功率在 SD v1.5 上达 97.9%,在 SDXL 上达 98.7%;而单独加载这些植入适配器时仅为 2.8%–4.6%。论文还评估了配对选择性、单适配器保真度、部署环境变化下的鲁棒性,以及在不同去噪器架构上的可迁移性。结论是:仅逐个审查适配器无法评估多 LoRA 个性化组合的安全性,必须对适配器组合进行审计。适合从事生成式模型安全、模型供应链与平台审核的研究者与工程师阅读。
💡 推荐理由: 它表明模型供应链安全存在新的盲区:逐个扫描单个 LoRA 文件不足以发现风险,两个看似无害的适配器组合后可被条件性激活并改写生成内容,现有平台的热门适配器审核流程可能被绕过,需转向组合级审计。
🎯 建议动作: 研究跟进,并纳入内部多适配器/多组件组合安全评估流程