Inner Momentum for Differentially Private Muon
该论文研究差分隐私(DP)训练中梯度裁剪对 Muon 优化器更新几何的破坏问题。DP 训练通常对每个样本梯度进行径向裁剪再加噪,但不同样本的裁剪系数不一致,会扭曲这批梯度平均后的奇异向量相对几何结构。Muon 的更新量是近似极分解因子 UV
共收录 193 条相关情报。
← 返回所有主题该论文研究差分隐私(DP)训练中梯度裁剪对 Muon 优化器更新几何的破坏问题。DP 训练通常对每个样本梯度进行径向裁剪再加噪,但不同样本的裁剪系数不一致,会扭曲这批梯度平均后的奇异向量相对几何结构。Muon 的更新量是近似极分解因子 UV
本文研究目标扰动(objective perturbation)机制在有限步优化下的差分隐私性质。经典目标扰动做法是在正则化经验风险上叠加一个随机线性项 ⟨z,w⟩(其中 z 从 N(0, σ²I_d) 中一次性采样),随后发布扰动目标的精
论文针对差分隐私(DP)中多种曲线型隐私定义并存、选择不同定义会影响隐私分析与效用的问题,提出统一的信息论框架。作者考虑四类主流定义:两个方向性的 (ε,δ)-DP 隐私轮廓、假设检验权衡函数对,以及扩展隐私损失分布。对固定输出分布的有序对
本文研究两方差分隐私(two-party differential privacy)问题:双方各持一段长度为 n 的比特串,需要联合计算二者的汉明距离,并且双方必须输出相同的估计值。作者关注的是信息论意义(而非计算假设意义)下的隐私保证。经
差分隐私(DP)的形式化隐私保证依赖从噪声分布中精确采样:一旦采样器偏离理论分布,实际提供的隐私预算与所宣称的 ε/δ 就会脱节。本文报告在 OpenDP 的离散拉普拉斯(Discrete Laplace)采样器中发现的系统性伪影(arti
该论文针对联邦学习(FL)中隐私保护的割裂现状提出了一套组合式框架。背景在于:去中心化数据日益普遍,联邦学习允许客户端在不共享本地敏感数据的前提下协同训练模型,但 FL 本身并不足以保护训练数据——梯度更新仍可能泄露成员信息与属性信息,因此
这是一篇立场/观点型(perspective)论文,讨论多机构协作开展科学人工智能时的隐私基础问题。背景是:科学 AI(从基础模型 FM 到联邦数据分析流水线)正在成为国家实验室、大学、医院与产业伙伴共同依赖的共享基础设施;这种协作产生的隐
本文研究差分隐私合成数据生成算法 Private Evolution(PE)的理论性质与改进方案。PE 是一种在差分隐私约束下生成合成数据的迭代式算法,其工作方式可以形式化为一种 Wasserstein(最优传输)学习过程:算法反复从生成器
该论文针对 B2B 广告的定向困境提出 SIF(Sealed Inference Frame)方案。背景是:B2B 广告需要推断浏览者的职业属性(雇主规模与行业、职能、职级),传统做法依赖跨站身份匹配;但 Safari 与 Firefox
该论文研究的是差分隐私(DP)合成数据生成中的效用保证问题,具体以 1-Wasserstein 距离作为效用度量。背景与核心问题:对定义在 [0,1]^d(d≥2)、样本量为 n 的数据集,已有纯 ε-差分隐私机制所能达到的期望 1-Was
该论文介绍了一种新一代联邦学习(FL)系统,目标是解决早期 FL 部署中的运营难题,并首次提供可被外部验证的中心化差分隐私(DP)保证,同时改善隐私与效用之间的权衡。系统基于可信执行环境(TEE)构建:设备使用由 TEE 托管的密钥管理服务
该论文研究将差分隐私(DP)形式的认证鲁棒性从卷积神经网络迁移到视觉 Transformer(ViT)时出现的失效问题。PixelDP 通过在网络中间层注入噪声,为范数有界的对抗扰动提供严格的鲁棒性证书,此前在 CNN 上被证明有效;但在自
本文研究图信号处理中的一个核心隐私问题:当分析者只能观测到图滤波器(graph filter)的输出时,图移位算子(GSO,即邻接矩阵、拉普拉斯矩阵这类刻画图拓扑的算子)本身能获得多强的差分隐私(DP)保护。传统做法是对 GSO 本身或其滤
本文研究 c-内点点态最大泄露(c-interior pointwise maximal leakage, PML)作为收缩性分析与披露控制工具的理论价值。传统局部差分隐私(LDP)要求对任意相邻输入,输出核满足有界似然比,这在实际系统中往
该论文关注在敏感数据上通过检索增强生成(RAG)部署大语言模型(LLM)时引入的严重隐私风险。已有研究将差分隐私(DP)应用于 RAG 以提供形式化隐私保证,但现有 DP-RAG 框架会迅速耗尽隐私预算。作者指出一个关键错配:预算支出与模型
本笔记是一篇数学论证性的综述/讲解文章,作者 Jalaj Upadhyay 针对差分隐私(DP)持续计数(continual counting)问题的下界证明,给出了尽可能详尽的推导说明。所谓持续计数,是指在数据流持续到达的场景下,每一次到
该论文聚焦复杂事件处理(CEP)系统中的隐私保护问题。CEP 引擎从高速事件流中检测模式(如事件序列、时序关联、聚合条件),而现有的隐私保护机制(PPM)通常对整条数据流或单个事件施加统一噪声,限制性过强:隐私预算被平摊到大量与最终模式无关
该论文针对文本数据发布场景中的身份再识别(identity leakage)风险,提出了一个名为 Conformal Privacy Auditing(CPA,共形隐私审计)的免分布校准框架。研究背景是:随着大语言模型(LLM)能力提升,攻
该论文针对差分隐私(Differential Privacy, DP)实现中一个长期被理论讨论但缺乏实证的问题展开研究:DP 的隐私保证建立在「噪声源足够随机」这一前提之上,但现实中随机数发生器(RNG)的熵退化究竟会对 DP 机制产生多大
随着机器学习广泛部署,监管与政策对训练数据保护的要求日益严格,差分隐私(DP)成为关键技术;但一个研究不足的问题是,如何在不接触私有训练数据的前提下,由外部验证者认证已发布的模型确实按声称的 DP 保护完成训练。现有基于零知识证明等密码学方