该论文提出了一种名为LoREnc的训练无关框架,用于保护基础模型(FM)和低秩适配器(LoRA adapter)免受知识产权泄露和模型恢复攻击。现有防御方法通常需要重新训练或访问原始数据集,实用性不足。LoREnc通过频谱截断与补偿技术,在不需要重新训练的情况下,抑制FM权重中的主导低秩分量,并在授权适配器中补偿缺失信息;同时采用正交重参数化,模糊受保护适配器的结构指纹。未经授权的用户使用受保护模型时会产生结构坍塌的输出,而授权用户可恢复精确性能。实验表明,LoREnc能够有效防御模型恢复攻击,且计算开销低于1%。该方法适用于边缘设备上的生成式AI场景,在不明显增加推理成本的前提下提供强保护。
💡 推荐理由: 针对FM和LoRA适配器的模型提取攻击日益严重,而现有防御需重训练或原始数据,LoREnc首次实现了训练无关的低开销保护方案,适合资源受限的端侧部署。
🎯 建议动作: 研究跟进