本文研究目标扰动(objective perturbation)机制在有限步优化下的差分隐私性质。经典目标扰动做法是在正则化经验风险上叠加一个随机线性项 ⟨z,w⟩(其中 z 从 N(0, σ²I_d) 中一次性采样),随后发布扰动目标的精确最小化点,以此获得隐私保证。然而实际系统中优化器只能运行有限步,真正被发布的是确定性梯度下降在目标 w ↦ F(w;S) + ⟨z,w⟩ 上的第 N 次迭代 w_N,而非精确最小值,因此基于精确最小化点的传统隐私证明无法直接套用。作者正是针对这一理论与实现之间的差距展开分析:在目标函数强凸、光滑且 Hessian 满足 Lipschitz 的条件下,论文给出了一个显式条件,使得映射 z ↦ w_N 在隐私论证所使用的有界区域上构成 C¹ 微分同胚,并给出了其 Jacobian 最小奇异值的定量下界。这一结果使得可以直接对有限的第 N 次迭代进行变量替换(change-of-variables)分析,从而刻画有限迭代的隐私损失。对广义线性模型(GLM),作者导出的 privacy profile 界在迭代条件满足时不再含显式的环境维度 d 因子,且其有限迭代修正项随迭代数呈几何衰减;通过让自由截断参数随 N 缓慢增长,可在极限情形下恢复精确最小化点对应的隐私证书。此外,论文还将期望超额经验风险界定为 dσ²/(2μ) 加上一个几何衰减的优化项,并把结论迁移到总体风险,使得主要统计项中不再出现额外的条件数乘性因子。整体贡献在于为「有限步优化 + 目标扰动」提供了严格且更紧的隐私—效用分析,缩小了精确解理论与迭代实现之间的差距。适合差分隐私机器学习理论、隐私会计与隐私训练系统实现方向的研究者与工程师阅读。
💡 推荐理由: 对采用目标扰动做隐私保护训练的团队而言,本文说明有限步梯度下降同样能获得接近精确解的隐私保证,且隐私界可去掉显式维度因子,直接影响隐私预算与效用权衡的估算方式。
🎯 建议动作: 研究跟进