本文提出了一种名为 DP-MacAdam 的新型差分隐私机制，旨在解决差分隐私随机梯度下降（DP-SGD）中固定梯度裁剪阈值导致的局限性。现有自适应裁剪算法（如 AdaClip）虽然能根据梯度经验均值和方差动态调整裁剪参数，从而获得更有效的下降方向，但并未利用这些估计值来加速训练（即缺乏动量机制）。另一方面，DP-Adam 算法采用类似 Adam 的动量更新，利用梯度均值和方差加速训练，但其裁剪阈值仍然固定。DP-MacAdam 创新性地将自适应裁剪与自适应动量相结合，使用同一组均值与方差估计同时指导裁剪和动量更新，从而兼顾隐私保护与训练效率。理论分析表明，该算法能够无偏地估计梯度方差。实验部分在标准数据集（如 MNIST、CIFAR-10）上评估了模型效用与隐私保证，结果显示 DP-MacAdam 在相同隐私预算下相比 DP-SGD、AdaClip 和 DP-Adam 基线取得了更高的模型准确率，并且无需手动调整裁剪阈值，降低了使用门槛。该工作适用于隐私保护机器学习领域的研究者和工程实践者，尤其对希望在不牺牲模型性能的前提下加强训练数据隐私保护的组织具有参考价值。

这篇论文重新审视了差分隐私随机梯度下降（DP-SGD）的安全分析。DP-SGD广泛应用于机器学习中保护训练数据，其隐私保证通常通过一个安全游戏来分析，攻击者试图从机制输出中推断目标记录是否在训练集中，隐私泄露由隐私曲线（假阳性率作为假阴性率的函数）表征。论文发现现有形式化分析与常见DP-SGD实现之间存在不匹配：现有分析通常将DP-SGD及其变体建模为子采样高斯机制（SGM），即对泊松采样的批次计算裁剪梯度和并添加高斯噪声。然而，许多实际实现中额外进行了归一化步骤：将含噪梯度之和除以预期批次大小或实际采样批次大小。这些机制应分别形式化为期望平均SGM（EASGM）和批次平均SGM（ASGM）。论文重新分析了EASGM和ASGM下的隐私保证，理论结果表明这些保证可能弱于标准SGM保证，意味着在某些情况下真实隐私泄露可能超过报告的保证。此外，论文审计了四个最先进的DP-SGD实现，包括Meta的Opacus库，并观察到超出SGM保证的经验泄露。最后，对Opacus v0.9.0至v1.5.4版本进行审计，并为最新实现推导了修正后的隐私保证。

本文研究了基于随机洗牌子采样（random shuffling）的差分隐私随机梯度下降（DP-SGD）在f-DP框架下的权衡函数（trade-off function）。与传统的泊松子采样（Poisson subsampling）不同，后者只能通过机器计算得到非封闭的隐式公式，随机洗牌子采样允许进行紧致分析，从而推导出透明且可解释的封闭形式界限。作者利用Berry-Esseen定理，得出了在单轮次（E=1）场景下紧至常数因子的上下界。具体而言，当噪声乘数σ≥√(3/ln M)时（M为单轮次内的轮数），所导出的权衡函数可表达为1-a-δ，即仅比理想随机猜测对角线（1-a）差δ。例如，取δ=1/100、σ=1时，约需M≈1.14×10^6轮和N≈1.14×10^7个训练样本即可实现有意义的差分隐私。这与最近关于σ≤1/√(2 ln M)区域的负面结果形成对比。对于多个轮次（epoch）的组合，δ呈线性增长（δ∝E），这限制了E=O(√M)。为了超越Berry-Esseen近似，作者引入了一种基于大数定律推广的新证明技术，得到了渐近随机猜测对角线极限结果：若E=c_M^2 M且c_M→0，则E重组合后的权衡函数f^⊗E(a)在a∈[0,1]上一致趋于1-a，此时δ仅具有O(√E)依赖性。文章还将此渐近区域与相应的泊松子采样渐近进行了对比，并指出明确收敛速率的刻画仍是开放问题。本工作为DP-SGD的隐私分析提供了更紧致、更透明的理论工具，有助于设计人员精确选择参数以实现隐私与效用的平衡。适合对差分隐私理论、特别是DP-SGD隐私核算感兴趣的研究人员阅读。