本文针对差分隐私零阶优化（DP-ZO）在大语言模型（LLM）微调中的局限性，提出了一种噪声感知的自适应收缩方法 SAGE。DP-ZO 仅利用前向传播评估即可实现内存高效的私有微调，是当前隐私保护 LLM 微调的重要技术路线。然而，现有基于聚合的 DP-ZO 方法以固定尺度重建模型更新，忽略了训练过程中有用信号强度的动态变化，导致噪声主导的更新可能被过度加权，从而损害模型效用。SAGE 的核心思想是根据私有化估计的信号质量进行自适应衰减：它从观测到的二阶矩中减去已知的高斯噪声方差来估计潜在信号能量，通过时间追踪稳定该估计，并将当前信噪比与预热参考值比较，从而推导出有界收缩因子。作为纯后处理方法，SAGE 不消耗额外的隐私预算或模型查询，仅引入恒定的额外状态量。理论分析表明，收缩使得二次更新风险项的下降速度快于线性下降项，从而在保留有用下降方向的同时，限制噪声主导更新的影响。实验在 RoBERTa-large、OPT-1.3B 和 OPT-6.7B 上验证，在相同隐私预算下，SAGE 在大多数设置中优于现有基线，同时保持了 DP-ZO 仅前向传播的内存效率。该研究为差分隐私大模型微调提供了更鲁棒的更新策略，适合关注隐私保护机器学习、尤其是 LLM 隐私微调的研究人员和工程师阅读。

本文提出了一种基于多密钥同态加密（MK-HE）的隐私增强零阶联邦学习协议，适用于无线信道环境。传统联邦学习中的同态加密方法主要依赖单密钥方案，需要信道估计或预均衡来补偿无线衰落，且单密钥方案易受诚实但好奇的客户端攻击——一旦某个客户端密钥泄露，整个网络的安全性将受损。多密钥HE方案为每个设备分配独立密钥，提供更强的客户端级安全性。然而，多密钥HE在无线信道上的聚合面临挑战：不同用户的密文在信道上叠加会产生干扰。本文设计了一个四阶段协议，利用xMK-CKKS（一种知名的多密钥HE方案）在共享无线信道上实现无信道估计的聚合。协议通过重传部分公钥和密文利用相同信道实现，使得解密过程中占主导的大模数加密项代数相消。该协议与零阶联邦学习结合，适用于慢变视距主导信道，每个设备每轮仅传输一个加密标量，通信和加密开销与模型维度无关。理论证明，解码后的加密噪声将收敛率保持在O(1/√K)水平，直至可忽略的噪声基底。协议对诚实但好奇的服务器与最多N-1个客户端合谋的场景安全。MNIST数据集上的数值实验验证了理论分析。