自监督学习作为一种新兴的机器学习范式,利用无标签数据预训练强大的编码器,这些编码器可作为特征提取器服务于各种下游任务。然而,由于预训练过程需要大量数据和计算资源,编码器本身成为模型所有者的宝贵知识产权。研究表明,模型窃取攻击通过训练替代模型来模仿原始模型行为,严重威胁版权保护。现有版权保护方法(如水印)主要针对分类器,而预训练编码器的版权保护面临独特挑战。本文提出 SSLGuard,首个专为预训练编码器设计的水印方案。SSLGuard 在干净的预训练编码器中注入水印,生成带水印版本,并采用影子训练技术确保水印在潜在模型窃取攻击下仍可保留。通过大量实验,SSLGuard 在水印注入与验证上表现出色,且对模型窃取、输入噪声、输出扰动、覆盖攻击、模型剪枝和微调等水印移除攻击具有鲁棒性。该工作填补了预训练编码器版权保护的空缺,为 AI 模型知识产权保护提供了新思路。
💡 推荐理由: 自监督学习编码器作为核心资产,面临模型窃取威胁。SSLGuard 首次提供水印保护方案,对保护企业 AI 模型版权、防止滥用具有重要意义。
🎯 建议动作: 研究跟进