本文提出 PreferCare,这是首个专门针对 LLM 对齐训练中偏好数据集版权保护的水印注入与验证框架。随着 LLM 应用安全性需求日益迫切,对齐训练算法(如 RLHF/DPO 等)依赖大量高质量偏好数据来微调模型,使其行为符合人类价值观。然而,这类数据集的生成与人工标注成本高昂且劳动密集,因此其版权保护至关重要。PreferCare 包含两个阶段:注入阶段和验证阶段。注入阶段设计了基于风格迁移的水印信号和双层水印优化过程,将水印嵌入偏好数据集中,使其不易被察觉且不影响数据质量。验证阶段采用统计检验方法,判断可疑 LLM 是否在未授权情况下使用了含水印的偏好数据集。在多个主流 LLM 上的大量实验表明,PreferCare 在不同设置下具备有效性、无害性、可迁移性和鲁棒性,并能在 20 次查询内成功完成水印验证。该研究为 AI 数据版权保护提供了新思路,尤其适用于保护用于对齐训练的偏好数据不被非法使用。
💡 推荐理由: 为偏好数据集版权保护提供了首个专门方案,填补了该领域空白,对依赖 LLM 对齐技术的企业或研究机构的数据资产保护具有直接参考价值。
🎯 建议动作: 研究跟进