#privacy-auditing

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: T-H. Hubert Chan, Elaine Shi, Mengshi Zhao, Mingxun Zhou

该论文研究了持续学习中参与隐私(Participation Privacy)的挑战。在联邦学习和流式学习场景中,模型通常持续更新并释放中间模型,因此隐私保护需要覆盖整个动态交互轨迹。作者针对单次编辑(single-edit)相邻用户流这一模型,即用户流中一次插入或删除会改变所有后续更新,传统的基于汉明距离(Hamming-neighbor)的持续发布分析无法直接适用。为了解决这一问题,论文提出了一种可审计的模块化方案:首先,设计一个随机缓冲包装器(randomized buffering wrapper),将原始更新流分割成大小为$[U, 2U]$的箱子(bins),从而将单次编辑流转化为每个箱子内的汉明风格更新流,并给出明确的积压/延迟保证,其中$U$由隐私参数$(\varepsilon, \delta)$校准。其次,论文证明了一个认证定理(certification theorem),该定理揭示了当非自适应的汉明邻域差分隐私证明能够提升到自适应输入的条件:基础算法必须每轮使用全新的随机性,并且在共同自适应上下文中具有稳定的单轮隐私配置。结合这些要素,论文最终实现了对于单次编辑流的轨迹级$(\varepsilon, \delta)$-差分隐私,并利用标准基础算法(如树前缀和机制)给出了隐私与延迟之间的显式联系(通过$U$参数)。实验部分验证了所提方法的隐私保证和实用效率。适合对差分隐私、联邦学习、流式数据隐私保护的学者和工程师阅读。

💡 推荐理由: 参与隐私是联邦学习中的关键问题,现有方案多假设静态数据,而该工作首次为动态用户流提供可审计的差分隐私保证,具有理论创新性和实用价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 5.5
Conf: 50%
👥 作者: Nicole Mitchell, Galen Andrew, Arun Ganesh, Brendan McMahan, Peter Kairouz

本文针对大型语言模型(LLM)在参数高效微调过程中可能记忆个体训练样本的问题,提出了一种创新性的经验性隐私审计(EPA)方法。研究背景:微调后的LLM可能泄露隐私,现有审计方法依赖人工设计的“金丝雀”样本,但难以模拟真实数据分布且可能引入隐私风险。核心方法:作者提出利用高温采样(T≥0.8)从LLM本身生成合成金丝雀,这些金丝雀与隐私敏感训练数据分布相似,且具有高影响力(outlier特性),从而在成员推断或重建攻击中实现高识别性,显著提升审计效能。由于合成金丝雀本身不含真实隐私,可重复插入且易于检查,不会危及原始数据隐私。此外,针对微调模型生成合成数据这一重要应用场景,本文引入了一种强大的合成数据审计方法:在合成数据上微调辅助模型,然后审计该辅助模型对原始金丝雀的泄露程度,从而量化合成数据的隐私风险。最后,利用所提审计方法,系统研究了模型容量与金丝雀熵对记忆化的交互影响。实验证明,该方法在多个基准数据集上实现了最先进的隐私审计效果,为LLM隐私风险评估提供了实用工具。

💡 推荐理由: 本方法为LLM隐私审计提供了自动化、无需人工标注金丝雀的解决方案,使安全团队能够更高效地评估微调模型的数据泄露风险,尤其适用于合成数据场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)