该论文研究的是参数高效微调(PEFT)场景下的后门防御问题。随着大语言模型(LLM)与 LoRA 等轻量微调方法的广泛采用,攻击者可以通过污染微调数据或发布被植入后门的适配器(adapter),使模型在特定触发条件下产生恶意输出,而基座模型本身看起来完全正常,这使得后门更难被察觉。现有后门净化(backdoor purification)方法普遍依赖至少一项较强的假设:例如事先知道触发器的形式、能够访问干净的参考数据、或需要对模型进行激进的重新训练;论文指出这些约束在真实场景中往往无法满足,且这些方法通常缺乏系统、全面的评估,因此实际可用性受限。 该工作的核心主张是在去除上述全部假设的前提下净化 LoRA 微调后的 LLM,甚至不需要对可疑参数做事后重训练。其目标是在大幅降低攻击成功率(ASR)的同时,保留两项能力:(i) 基座模型的通用能力,(ii) 适配器在下游任务中学到的新技能。方法上,作者通过精心设计的数据筛选(data curation)与特征近似(feature approximation)来提取高保真的“后门方向”,随后在网络每一层或每个注意力头上,分别在输入通道与输出通道中构造与后门方向正交的零空间(null space),并将 LoRA 更新量投影到这些零空间上,从而在不破坏正常功能的前提下削弱后门通路。 实验方面,作者采用一系列消融研究,从文本分类场景下的单层结构逐步扩展到生成任务中的全参数 LLM,以验证方法的可扩展性。实证结果显示,该零空间投影方法可将攻击成功率从接近 100% 降至 10% 以下,同时保持基座模型的良性表现和适配器在下游任务上的学习能力。论文适合关注 LLM 供应链安全、模型微调安全、后门防御与模型净化的研究者与安全工程师阅读;由于目前仅有摘要,具体的数据集、触发器类型、评测基准与计算开销等细节尚不明确。
💡 推荐理由: LoRA 适配器在开源社区大量分发,是 LLM 供应链中低门槛的投毒载体。该工作提出无需触发知识、无需干净参考数据、无需重训练的零空间投影净化思路,若能复现,可显著降低企业采用第三方适配器时的后门风险。
🎯 建议动作: 研究跟进