On the Stability of Spherical Hellinger-Kantorovich Flows and Their Implications for Differential Privacy
本文研究了球面 Hellinger-Kantorovich (SHK) 梯度流的稳定性及其在差分隐私 (DP) 中的应用。SHK 几何将运输和反应耦合,其梯度流与生灭 Langevin 动力学一致,可用于从 Gibbs 分布中采样。作者提出
共收录 193 条相关情报。
← 返回所有主题本文研究了球面 Hellinger-Kantorovich (SHK) 梯度流的稳定性及其在差分隐私 (DP) 中的应用。SHK 几何将运输和反应耦合,其梯度流与生灭 Langevin 动力学一致,可用于从 Gibbs 分布中采样。作者提出
该论文受差分隐私洗牌模型(shuffle model)近期发展的启发,提出了一种新的近似洗牌功能——交替洗牌(Alternating Shuffle)。研究背景是:在洗牌模型中,一个可信的洗牌器随机排列用户的数据,从而放大本地差分隐私的隐私
本文提出了一种基于差分隐私的原偶视角(primal-dual perspective)来证明机器学习模型对后门攻击的鲁棒性。后门攻击同时污染训练数据和测试数据,使得现有仅针对训练时或推理时单一阶段的随机平滑认证方法失效。作者将随机平滑与差分
该论文研究了差分隐私(DP)中的广义私有测试问题,该问题由 Liu 和 Talwar 在 STOC 2019 中提出。给定一个数据集 X 和一个序列的黑盒 ε_t-DP 机制 M_t,分析者需要以 DP 方式接受第一个成功概率 p_t =
本文对苹果公司差分隐私框架(DifferentialPrivacy.framework)进行了首次客户端审计,覆盖 macOS Sonoma 14.2 和 Sequoia 15.6 系统。苹果自 2016 年起声称其设备分析数据受差分隐私保
联邦学习通过不传输原始数据的方式实现分布式模型训练,但平均聚合方法受非独立同分布(non-IID)数据的严重影响,导致收敛速度慢和模型精度下降。现有替代方案具有显著的低效性:带有噪声或高度异构数据的客户端贡献了昂贵的梯度计算,这些计算在聚合
本文针对预训练机器学习模型在微调过程中可能记忆敏感数据的问题,提出了一种基于指数机制的随机算法,以实现差分隐私保护。核心思路是构造一个简单的效用函数,该函数结合了预训练模型的局部二次近似与新数据集的信息,使得指数机制能够从多元正态分布中闭式
本文提出了一种名为 SMA-DP-SGD(Spectral Memory-Aware Differentially Private Stochastic Gradient Descent)的新方法,旨在改进差分隐私深度学习中的效用问题。标准
本文聚焦于多租户检索增强生成(RAG)服务中的隐私审计问题。现有RAG系统通常声称每个账户满足差分隐私(DP),即每个账户的查询对索引满足(ε_acc, δ_acc)-DP。然而,作者发现同租户下多个账户合谋(即同一租户的多个账户协调攻击其
本文针对大规模机器学习场景下的差分隐私问题提出了一种通用、高效的私有草图(private sketch)方法。差分隐私通过严格的数学定义量化隐私与效用的权衡,但在实际应用中,通用算法运行缓慢(中等规模数据集可能需要数小时至数天),因此现有方
该论文提出了一种名为 DP-SelFT 的差分隐私选择性微调框架,旨在解决大型语言模型(LLM)在微调过程中因使用敏感数据而导致的隐私泄露问题。差分隐私(DP)通过梯度裁剪和噪声注入提供形式化的隐私保护,但常导致模型效用显著下降。现有工作通
这篇论文重新审视了差分隐私随机梯度下降(DP-SGD)的安全分析。DP-SGD广泛应用于机器学习中保护训练数据,其隐私保证通常通过一个安全游戏来分析,攻击者试图从机制输出中推断目标记录是否在训练集中,隐私泄露由隐私曲线(假阳性率作为假阴性率
浮点算术在计算领域无处不在,因其能够表示极大和极小的数值范围,成为存储、分析和操作数值数据的首选方法。然而,这种灵活性在安全/隐私敏感的场景中带来了额外风险。本文探讨了当向敏感值添加噪声时,浮点算术导致的信息泄露威胁——这种泄露可能使敏感信
本文研究了差分隐私中个性化隐私预算的局限性。在差分隐私中,隐私预算ε的选择至关重要,它需要在满足隐私要求的同时最大化数据效用。一种常见的思路是为不同用户(或数据点)分配不同的隐私预算,即个性化隐私预算。然而,本文通过理论分析证明,个性化隐私
本文提出一种名为 DP-LAC 的轻量级自适应裁剪方法,用于解决联邦学习(FL)中差分隐私(DP)随机梯度下降(DP-SGD)的裁剪阈值自调整问题。在联邦微调大规模语言模型(LLM)时,DP-SGD 通过裁剪每个客户端贡献的梯度范数至阈值
该论文研究差分隐私(DP)约束下的分布采样问题。传统方法使用KL散度等密度比度量评估DP采样效用,但存在两个关键局限:1)无法捕捉支撑集的几何结构;2)当分布支撑集不同时不适用。为克服这些局限,作者提出以Wasserstein距离作为效用度
本文提出了一种新的差分隐私随机梯度下降(DP-SGD)变体,称为分数阶差分隐私随机梯度下降(FO-DP-SGD)。传统的DP-SGD通过逐样本裁剪、子采样、高斯扰动和隐私会计来保护隐私,每步只释放当前裁剪并加噪的梯度求和。FO-DP-SGD
本文提出 PACZero,一种基于 PAC(Probably Approximately Correct)隐私的零阶(Zeroth-Order)微调框架,旨在解决大语言模型(LLM)在强隐私保护下的可用性问题。核心思想是利用符号量化(Sig
本文研究了基于随机洗牌子采样(random shuffling)的差分隐私随机梯度下降(DP-SGD)在f-DP框架下的权衡函数(trade-off function)。与传统的泊松子采样(Poisson subsampling)不同,后者
该论文提出了一种基于α-Wasserstein距离的机制来实现Rényi Pufferfish隐私保护,使用了拉普拉斯噪声和高斯噪声。通过应用Hölder不等式,作者证明了拉普拉斯机制的尺度参数可以通过W_α度量的上界进行校准,从而对于α∈