本文提出 DPPrefSyn，一种用于生成差分隐私（DP）合成偏好数据的新算法，旨在保护大语言模型（LLM）对齐过程中的隐私。在偏好对齐的后训练阶段，使用真实人类偏好数据可能泄露敏感的用户提示和判断。DPPrefSyn 基于 Bradley-Terry 偏好模型和成对偏好数据的内在几何结构，首先从私有数据中学习具有严格差分隐私保证的潜在偏好模型，然后利用该模型与公共提示生成高质量的合成偏好数据。该方法通过利用每簇奖励模型的共享线性结构来有效捕获私有数据中的异质人类偏好，并使用差分隐私主成分分析（DP-PCA）提高学习准确性。大量实验表明，DPPrefSyn 在强 DP 保证下实现了有竞争力的对齐性能。这是首个生成 DP 合成偏好数据用于 LLM 对齐的工作，代码已开源。