#muon

共收录 1 条相关安全情报。

← 返回所有主题
推荐 3.5
Conf: 50%
👥 作者: Bishnu Bhusal, Minh Vu, Ben Southworth, Geigh Zollicoffer, Rohit Chadha, Manish Bhattarai

该论文研究差分隐私(DP)训练中梯度裁剪对 Muon 优化器更新几何的破坏问题。DP 训练通常对每个样本梯度进行径向裁剪再加噪,但不同样本的裁剪系数不一致,会扭曲这批梯度平均后的奇异向量相对几何结构。Muon 的更新量是近似极分解因子 UV^T,仅依赖奇异向量,因此对这种畸变尤其敏感。作者提出 Inner Momentum(IM):在裁剪之前,将每个样本的 Muon 梯度在当前模型与最近若干历史模型上做平均。这样裁剪后的批量矩阵可分解为共同缩放项与协方差残差 R(样本梯度与裁剪值之间),并给出 Frobenius 范数上界 ||R||_F <= sigma_lambda sigma_G,直接约束裁剪导致的畸变。作者进一步证明,在相应谱条件下,有限步 Newton-Schulz 迭代保持输入的极分解因子,说明该修正能经受正交化过程而不被破坏。实验方面,在 E2E 与 DART 数据集上对 GPT-2 进行私有微调,ε 取 1、2、4、8;DP-Muon-IM 在所有同种子对比中均提升 BLEU 与 ROUGE-L,非私有诊断显示噪声注入前极分解误差降低 2–4%。该工作适合差分隐私优化、大模型隐私微调与优化器设计方向的研究者与工程师阅读。

💡 推荐理由: 差分隐私训练常以牺牲效用为代价。该工作直面 DP 裁剪对 Muon 更新几何的破坏,提出 Inner Momentum 使隐私保护与模型效用更好兼顾,且从理论上刻画裁剪畸变上界,对在隐私约束下训练大模型具有直接参考价值。

🎯 建议动作: 研究跟进,评估在内部差分隐私微调中的适用性

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)