该论文针对机器学习算法在实践中缺乏严格隐私保证的问题，提出应用近期提出的 Probably Approximately Correct (PAC) Privacy 框架，为多种常用黑盒算法（K-Means、支持向量机 SVM、主成分分析 PCA 和随机森林）提供了形式化、机械化且基于模拟的隐私证明。论文的主要贡献包括：第一，提出了一种新的模拟算法，能够高效确定达到给定隐私水平所需的各向异性（anisotropic）噪声扰动，并给出了该算法的正确性证明；第二，通过理论分析和实验证明，相比各向同性噪声，各向异性噪声在保持模型可用性方面具有显著优势；第三，引入正则化可以降低算法输出的不稳定性，从而实现隐私放大，在较小精度损失下获得有意义的隐私保证；第四，提出了减少算法输出不稳定性的新技术，将难以处理的几何稳定性验证转化为高效的确定性稳定性验证。论文通过大量实验，将可证明的对抗性推断难度与最先进的实证攻击（如成员推断攻击）进行对比，验证了所提方法的有效性。该研究为实用机器学习模型提供了可验证的隐私保障路径，弥补了传统成员推断攻击和差分隐私审计等方法缺乏严格理论保证的不足，适合对隐私保护机器学习、形式化验证和可信 AI 感兴趣的研究人员阅读。

本文提出 PACZero，一种基于 PAC（Probably Approximately Correct）隐私的零阶（Zeroth-Order）微调框架，旨在解决大语言模型（LLM）在强隐私保护下的可用性问题。核心思想是利用符号量化（Sign Quantization）技术对聚合后的零阶梯度进行离散化，使得在模型更新时，如果所有候选子集对更新方向一致（即 unanimity），则该步骤释放的梯度符号条件互信息为零，从而实现严格的隐私保障。PACZero 包含两个变体：PACZero-MI 通过精确校准二值释放的互信息来预算隐私；PACZero-ZPL 则在分歧步骤使用均匀随机掷硬币强制实现零互信息。实验在 SST-2（情感分类）和 SQuAD（问答）上使用 OPT-1.3B 和 OPT-6.7B 模型进行 LoRA 和全参数微调。结果显示，在零互信息（I=0）下，PACZero-ZPL 在 SST-2 上达到 88.99% 准确率，仅比非私有的 MeZO 基线（91.1%）低 2.1 个百分点；在 SQuAD F1 分数上也取得有意义的结果。此前没有任何方法能在高隐私保护（ε<1 的 DP 等价水平）下获得可用效用。该工作为隐私敏感的 LLM 微调提供了新的理论框架和实践方案，特别适合需要抵御成员推断攻击（MIA）的场景。