#privacy auditing

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Zhuohang Li, Andrew Lowy, Jing Liu 0009, Toshiaki Koike-Akino, Kieran Parsons, Bradley A. Malin, Ye Wang 0001

本文针对分布式学习中梯度共享引发的隐私推断风险进行了系统性研究。在分布式学习(如联邦学习)中,模型通过共享从用户敏感数据计算出的梯度进行迭代更新,但已有研究表明梯度可能泄露隐私。作者提出了一种统一的基于博弈论的框架,将多种隐私攻击(包括属性推断、性质推断、分布推断和用户身份披露)纳入其中。通过五个涵盖不同数据模态的数据集上的大量实验,分析了攻击者不同不确定性程度对其推断能力的影响,结果证实单纯依赖数据聚合(如平均梯度)无法有效抵御此类推断攻击。进一步,论文在静态和自适应对手两种设置下评估了五种防御机制:梯度修剪(只保留部分梯度)、符号梯度下降(仅传递梯度的符号)、对抗扰动(向梯度添加对抗噪声)、变分信息瓶颈(限制梯度中的信息量)以及差分隐私(向梯度注入经过校准的噪声)。从信息论角度分析了这些防御手段对梯度推断的抑制效果。最后,作者提出了一种审计属性推断隐私的方法,通过构造对抗性金丝雀记录(canary records)来改善最坏情况下隐私泄露的实证估计。本文适用于从事隐私保护机器学习、联邦学习安全以及分布式系统隐私审计的研究人员和工程师。

💡 推荐理由: 为分布式学习中的梯度隐私风险提供了统一分析框架,系统评估了多种防御手段在静态和自适应对手下的有效性,对设计更鲁棒的隐私保护方案具有指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Tudor Cebere, Mathieu Even, Linus Bleistein, Aurélien Bellet

本文提出了一种名为“零训练轮次”(Zero-Run)的隐私审计方法,旨在解决现有隐私审计方法需要干预训练流程(如多次重训练或随机化数据包含)的局限性。在大型部署系统(如基础模型)中,这些干预往往不可行。作者利用两个固定数据集——已知为训练集成员的样本和已知为非成员的样本——进行事后审计。在这种观测性设置下,成员身份不再随机化,成员与非成员数据可能分布不同,导致成员推断分数反映分布偏移而非算法泄露。借鉴因果推断的思想,作者形式化了这种混杂效应,并提出了两种互补的校正方法:第一种将分布偏移和算法泄露的组合效应建模为自适应组合,产生保守的全局校正;第二种基于观测数据调整逐点成员猜测,得到更尖锐的实例依赖边界。在合成数据和大规模模型上的实验表明,当无法进行重训练或受控数据插入时,Zero-Run审计能够实现实用的隐私评估。本文的主要贡献在于提出了无需额外训练运行即可进行隐私审计的框架,并通过因果推断方法校正分布偏移带来的偏差。

💡 推荐理由: 实际中,许多大型模型(如基础模型)的隐私审计因无法干预训练流程而难以进行。Zero-Run方法利用固定数据集进行事后审计,为安全从业者提供了一种实用工具,特别适合评估已部署模型的差分隐私下限。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)