#privacy-auditing

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Owen Tucker, Lily Wang, Harutoshi Okumura, Ruixuan Liu, Li Xiong

合成基因表达数据被视为受控访问基因组库的隐私保护替代方案,但其隐私安全性必须通过实证审计验证。成员推断攻击(MIA)通过判断某患者的基因表达谱是否参与生成模型训练来完成这一审计。本文针对 ELSA Health 2026 挑战赛发布的、源自 TCGA bulk RNA-seq 的合成基因表达数据开展红队研究。作者将五种无盒(no-box)成员推断攻击统一到一个加权距离框架下,各变体仅在基因加权方式上不同:均匀加权(基线)、按方差加权、按合成数据与参考数据的 KL 散度加权、通过谱残差化去除主成分的加权、以及基于精选通路成员的加权。在条件变分自编码器(cVAE)上,谱残差化将 pan-cancer TCGA 的 AUC 从 0.8251 提升至 0.8951,1% FPR 下的 TPR 从 0.3842 提升至 0.5970。基于生物通路的先验加权未能跨目标迁移。该工作为合成基因组数据的隐私审计提供了统一方法学参考,并揭示了谱残差化在无盒攻击中的显著优势。适合基因组隐私、合成数据生成与机器学习隐私审计的研究者阅读。

💡 推荐理由: 合成基因数据常被当作隐私保护方案,但本研究显示无盒成员推断攻击仍可有效泄露训练数据成员信息,谱残差化更大幅提升攻击成功率。对基因组数据发布方和隐私审计者具有直接警示。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Shuo Huang, Gholamreza Haffari, Xingliang Yuan, Ting Yu, Lizhen Qu

该论文针对文本数据发布场景中的身份再识别(identity leakage)风险,提出了一个名为 Conformal Privacy Auditing(CPA,共形隐私审计)的免分布校准框架。研究背景是:随着大语言模型(LLM)能力提升,攻击者可以结合 LLM 与外部辅助知识(auxiliary knowledge)把已发布的自然语言文档重新关联到具体个人,传统的经验性审计只报告某条特定攻击流程的成功率,缺乏有限样本的统计保证;而训练阶段的保护手段(如差分隐私)难以转化为针对单篇发布文档的、发布时(release-time)可用的风险判断。 核心方法:CPA 借助共形预测(conformal prediction)思想,为每一篇待发布文档输出一个“共形模糊集”(conformal ambiguity set),即在可交换性(exchangeability)假设下,以用户指定的置信水平保证该集合包含真实身份;集合的大小被进一步转化为可解释的泄漏代理指标(leakage proxy),从而把抽象的隐私风险变成可度量、可比较的数值。框架同时支持两类攻击者设定:可访问 logit 的攻击者(对应开源模型)以及仅能采样的攻击者(对应闭源专有 API 模型),从而在统一口径下审计不同模型形态。 主要贡献:一是将再识别风险评估从“点估计成功率”提升为具有有限样本统计保证的认证式评估;二是提出集合规模作为可解释的泄漏强度度量;三是给出跨攻击者能力、跨数据集的统一审计协议。实验在多个文本发布基准与多种攻击者配置下进行,结果显示 CPA 达到了良好的校准覆盖率(calibrated coverage),并揭示出当辅助知识规模、LLM 增强能力以及发布机制发生变化时,被认证的可识别性会出现显著跃迁。这为在发布时报告和横向比较不同攻击者配置、数据集与发布机制下的链接风险提供了统计学基础。 适合读者:隐私工程与数据发布治理团队、差分隐私与隐私审计研究者、负责模型/数据集对外发布的安全工程师,以及需要评估 LLM 时代文本再识别风险的合规与风控人员。

💡 推荐理由: 文本发布前的隐私评估长期停留在“某条攻击流水线成功率”层面,缺乏有限样本统计保证。CPA 把再识别风险做成带置信度的认证式指标,并统一覆盖开源 logit 访问与闭源 API 仅采样两类对手,使发布决策第一次有了可复现、可比较的统计依据,对数据开放、模型卡与合规披露场景具有直接可操作性。

🎯 建议动作: 研究跟进:评估将 CPA 集成到内部数据发布评审流程的可行性

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: T-H. Hubert Chan, Elaine Shi, Mengshi Zhao, Mingxun Zhou

该论文研究了持续学习中参与隐私(Participation Privacy)的挑战。在联邦学习和流式学习场景中,模型通常持续更新并释放中间模型,因此隐私保护需要覆盖整个动态交互轨迹。作者针对单次编辑(single-edit)相邻用户流这一模型,即用户流中一次插入或删除会改变所有后续更新,传统的基于汉明距离(Hamming-neighbor)的持续发布分析无法直接适用。为了解决这一问题,论文提出了一种可审计的模块化方案:首先,设计一个随机缓冲包装器(randomized buffering wrapper),将原始更新流分割成大小为$[U, 2U]$的箱子(bins),从而将单次编辑流转化为每个箱子内的汉明风格更新流,并给出明确的积压/延迟保证,其中$U$由隐私参数$(\varepsilon, \delta)$校准。其次,论文证明了一个认证定理(certification theorem),该定理揭示了当非自适应的汉明邻域差分隐私证明能够提升到自适应输入的条件:基础算法必须每轮使用全新的随机性,并且在共同自适应上下文中具有稳定的单轮隐私配置。结合这些要素,论文最终实现了对于单次编辑流的轨迹级$(\varepsilon, \delta)$-差分隐私,并利用标准基础算法(如树前缀和机制)给出了隐私与延迟之间的显式联系(通过$U$参数)。实验部分验证了所提方法的隐私保证和实用效率。适合对差分隐私、联邦学习、流式数据隐私保护的学者和工程师阅读。

💡 推荐理由: 参与隐私是联邦学习中的关键问题,现有方案多假设静态数据,而该工作首次为动态用户流提供可审计的差分隐私保证,具有理论创新性和实用价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 5.5
Conf: 50%
👥 作者: Nicole Mitchell, Galen Andrew, Arun Ganesh, Brendan McMahan, Peter Kairouz

本文针对大型语言模型(LLM)在参数高效微调过程中可能记忆个体训练样本的问题,提出了一种创新性的经验性隐私审计(EPA)方法。研究背景:微调后的LLM可能泄露隐私,现有审计方法依赖人工设计的“金丝雀”样本,但难以模拟真实数据分布且可能引入隐私风险。核心方法:作者提出利用高温采样(T≥0.8)从LLM本身生成合成金丝雀,这些金丝雀与隐私敏感训练数据分布相似,且具有高影响力(outlier特性),从而在成员推断或重建攻击中实现高识别性,显著提升审计效能。由于合成金丝雀本身不含真实隐私,可重复插入且易于检查,不会危及原始数据隐私。此外,针对微调模型生成合成数据这一重要应用场景,本文引入了一种强大的合成数据审计方法:在合成数据上微调辅助模型,然后审计该辅助模型对原始金丝雀的泄露程度,从而量化合成数据的隐私风险。最后,利用所提审计方法,系统研究了模型容量与金丝雀熵对记忆化的交互影响。实验证明,该方法在多个基准数据集上实现了最先进的隐私审计效果,为LLM隐私风险评估提供了实用工具。

💡 推荐理由: 本方法为LLM隐私审计提供了自动化、无需人工标注金丝雀的解决方案,使安全团队能够更高效地评估微调模型的数据泄露风险,尤其适用于合成数据场景。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)