该论文针对云端隐私保护机器学习在智能体场景中的落地难题展开研究。全同态加密（FHE）允许在密文上直接计算，是保护云端强化学习（RL）数据机密性的理想方案，但 FHE 只原生支持加法和乘法，所有非线性激活、裁剪、比较等操作都必须替换为多项式近似。问题在于，RL 的时序差分（TD）学习具有递归性质，近似误差会在 Bellman 更新中反复累积并放大，形成论文所称的 Bellman drift，最终导致策略崩溃，使得多项式近似在训练后期严重偏离安全区间。为此作者提出同态优势算子 HAO，一个专为 FHE 约束下深度 RL 设计的稳定化框架。HAO 的核心思想是把基于优势函数价值估计中的零均值中心化投影迁移到 TD 目标上：通过对 TD 目标施加一个线性投影，消除驱动 Bellman drift 的统一状态价值基线分量，同时保持每个状态下动作的相对排序不变。该操作不增加任何额外的非线性乘法深度，也无需执行昂贵的密文自举，因此计算与密文预算开销可控。作者采用三层实验方法进行评估：表格型马尔可夫决策过程、使用真实 CKKS 密文运算的加密 CartPole 环境，以及包含密集连续特征的 20 节点物流路径规划基准。结果显示，HAO 能严格将网络预激活值限制在多项式近似的安全定义域内：在所有随机种子上均实现 0% 边界越界；仅使用正则化手段（L2 权重衰减与梯度裁剪）时，5 个种子中有 3 个发生越界；未稳定基线在 83.8% 的回合中出现越界。此外，HAO 智能体在表格域将最优策略准确率提升 18.0 个百分点，并且在裁剪梯度上叠加 DP-SGD 风格高斯噪声后仍保持稳定。该工作为隐私敏感场景下的加密强化学习提供了一条不依赖自举的稳定训练路径，适合 FHE、隐私计算、强化学习与可信机器学习方向的研究者和安全工程师阅读。