本文提出 PACZero，一种基于 PAC（Probably Approximately Correct）隐私的零阶（Zeroth-Order）微调框架，旨在解决大语言模型（LLM）在强隐私保护下的可用性问题。核心思想是利用符号量化（Sign Quantization）技术对聚合后的零阶梯度进行离散化，使得在模型更新时，如果所有候选子集对更新方向一致（即 unanimity），则该步骤释放的梯度符号条件互信息为零，从而实现严格的隐私保障。PACZero 包含两个变体：PACZero-MI 通过精确校准二值释放的互信息来预算隐私；PACZero-ZPL 则在分歧步骤使用均匀随机掷硬币强制实现零互信息。实验在 SST-2（情感分类）和 SQuAD（问答）上使用 OPT-1.3B 和 OPT-6.7B 模型进行 LoRA 和全参数微调。结果显示，在零互信息（I=0）下，PACZero-ZPL 在 SST-2 上达到 88.99% 准确率，仅比非私有的 MeZO 基线（91.1%）低 2.1 个百分点；在 SQuAD F1 分数上也取得有意义的结果。此前没有任何方法能在高隐私保护（ε<1 的 DP 等价水平）下获得可用效用。该工作为隐私敏感的 LLM 微调提供了新的理论框架和实践方案，特别适合需要抵御成员推断攻击（MIA）的场景。