#membership-inference

共收录 11 条相关安全情报。

← 返回所有主题
推荐 14.6
Conf: 50%
👥 作者: Zhikun Zhang 0001, Min Chen 0032, Michael Backes 0001, Yun Shen, Yang Zhang 0016

该论文首次系统性地分析了图神经网络(GNN)在节点级成员推断攻击下的隐私风险。GNN广泛应用于社交网络、蛋白质结构等图数据,但先前对隐私攻击的研究主要集中在欧几里得数据(如图像和文本)上,GNN的隐私漏洞尚未被充分探索。作者定义了三种威胁模型,基于攻击者的背景知识强度:仅知道图结构和部分节点标签、知道目标节点子图、知道完整图结构。针对这些模型,提出了三种成员推断攻击方法,利用节点嵌入的过拟合特性及图结构信息。在三个经典GNN架构(GCN、GraphSAGE、GAT)和四个基准数据集(Cora、Citeseer、Pubmed、Facebook)上评估,结果显示即使攻击者仅有最小背景知识,GNN也显著泄露节点成员信息。实验进一步表明,图的密度和节点特征的相似性对攻击成功率有重要影响:高密度图或高特征相似性会增加攻击风险。最后,作者探索了两种防御机制——差分隐私训练和图扰动,并发现它们能降低攻击性能,但会以适度牺牲模型效用为代价。该工作对理解GNN隐私风险并设计防御策略具有重要意义。

💡 推荐理由: GNN广泛应用于敏感图数据,但成员推断攻击可能泄露节点是否在训练集中,导致隐私泄露。该研究首次系统揭示此风险,对安全从业者评估GNN部署的隐私威胁至关重要。

🎯 建议动作: 研究跟进: 评估自身GNN模型对成员推断攻击的脆弱性,考虑部署差分隐私或图扰动等防御。

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 11.5
Conf: 50%
👥 作者: Lorenzo Rossi, Michael Aerni, Jie Zhang 0107, Florian Tramèr

本文针对序列模型(如大型语言模型和自回归图像生成器)中的成员推断攻击进行了研究。序列模型在训练过程中往往会记忆训练数据中的敏感信息,并在生成过程中无意泄露这些信息,这带来了严重的法律和隐私风险。然而,现有的隐私审计工具由于假设与序列生成过程的特性不匹配而效果有限。作者提出,有效测量序列模型中的隐私泄露需要利用序列生成过程中固有的样本内相关性。为此,他们改编了最先进的成员推断攻击,通过显式建模序列内的相关性,将现有攻击自然地扩展以适应序列模型的结构。具体地,他们针对自回归序列生成的特点,在攻击中引入了一个能够捕获序列内依赖关系的统计量,从而更准确地判断一个样本是否出现在训练集中。通过案例研究(可能针对语言模型或图像生成模型),实验证明这种改进能够持续提高记忆审计的有效性,且不会增加额外的计算成本。本文的工作为大型序列模型的可靠记忆审计奠定了重要基础,对于理解和缓解序列模型中的隐私泄露风险具有指导意义。

💡 推荐理由: 序列模型(如LLM)广泛部署,成员推断攻击可导致训练数据中敏感信息泄露,引发法律和合规问题。本文提出的改进审计方法能更准确评估隐私风险,对安全从业者制定隐私保护策略至关重要。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 8.5
Conf: 50%
👥 作者: Sinan Yıldırım, Megha Khosla

针对图神经网络(GNN)的现有隐私分析大多继承自非图数据场景的假设,忽略了结构依赖性和随机训练图采样。尤其是节点相关的先验导致仅凭第一类和第二类错误无法充分刻画最佳成员推断测试。为此,本文提出贝叶斯成员隐私(BMP),一种采样感知的节点级成员隐私定义,将节点相关的先验和图采样概率纳入攻击者知识。BMP将成员推断建模为贝叶斯假设检验,并通过后验成员概率量化成员隐私。论文探讨了BMP与现有定义之间的理论关系,并进一步提出一种实用的、采样感知的审计机制来估计BMP参数,作为GNN节点级隐私泄露的度量。在基准图数据集上的实验表明,BMP能提供比全局攻击精度更细粒度的隐私洞见。

💡 推荐理由: 现有GNN隐私分析忽略图结构特殊性,BMP首次从贝叶斯角度统一节点先验和采样不确定性,为评估成员泄露提供了更准确的理论基础。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Lisa Oakley, Sam Stites, Cameron Moy, Steven Holtzen, Alina Oprea, Marco Gaboardi

本文研究在统计发布场景下的成员推理攻击(Membership Inference Attack, MIA)问题。现有攻击通常仅利用数据集的边缘分布来建模总体,并假设总体服从独立同分布或乘积分布,这忽略了属性之间的依赖关系,从而限制了攻击效果。作者提出一种基于贝叶斯网络的框架,将总体建模为贝叶斯网络(BN),使得攻击者可以利用先验知识(如人口属性依赖结构)发起更有效的定制化攻击。该框架将成员推理问题重新定义为贝叶斯决策问题,并引入概率编程语言Roulette实现贝叶斯后验计算的具体攻击实例。理论证明表明,该攻击在具有强属性依赖的两个总体下等价于最优的似然比检验攻击变体。实验基于五个常用贝叶斯网络数据集,比较了似然比检验和内积攻击等基线方法,结果表明所提方法在总体依赖结构复杂、现有攻击难以手动适配的场景下显著优于基线。本文主要贡献包括:形式化了考虑属性依赖的成员推理问题、设计了基于贝叶斯决策的通用框架、提供了概率编程实现的理论与实验验证。适合从事差分隐私、统计发布安全、以及对抗性机器学习的研究人员阅读。

💡 推荐理由: 本文揭示了忽视属性依赖的传统成员推理攻击可能低估实际隐私风险,提出的贝叶斯攻击框架更贴近真实攻击者的先验知识,为差分隐私系统的安全性评估提供了新视角。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 3.5
Conf: 50%
👥 作者: Kai Chen, Yan Pang, Tianhao Wang

本文聚焦于聊天代理(chat agent)记忆系统中的成员推断攻击(MIA)。现有MIA研究主要针对训练语料库或检索数据库,但代理记忆包含敏感的用户-代理交互、检索事实和用户偏好,其隐私泄露风险尚未被充分探索。作者提出了一种统一的攻击方法——多召回记忆MIA(MRMMIA),利用多个召回探针(multiple recall probes)从代理中提取成员信号,覆盖黑盒、灰盒和白盒三种设定。实验结果显示,MRMMIA在多个指标上持续优于基线方法。该研究首次系统性地评估了聊天代理记忆系统的成员泄露风险,为相关隐私评估提供了初步框架。主要贡献包括:定义了代理记忆MIA问题、提出了可跨设定使用的通用攻击方法、以及通过实验揭示了代理记忆的隐私脆弱性。适合关注大语言模型隐私、系统安全的研究人员和工程师阅读。

💡 推荐理由: 随着聊天代理广泛应用,其记忆模块可能存储敏感用户信息。该研究首次系统性地揭示了代理记忆面临成员推断攻击的风险,对隐私合规与安全设计有重要启示。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Joonas Jälkö, Gauri Pradhan, Ossi Räisä, Antti Honkela

本文研究成员推理攻击(MIA)在评估模型训练数据泄露时的可靠性问题。MIA通过二分类器预测样本是否属于训练集,通常使用假阳性率(FPR)和真阳性率(TPR)衡量漏洞。然而,可靠估计低FPR下的TPR需要大量目标模型,计算成本高昂。为了降低开销,现有工作常将多个个体和多个模型的MIA分数拼接后平均,然后评估TPR。本文指出这种高效评估流程存在两个关键缺陷:第一,拼接后的分数用于低FPR区域时,不同样本的FPR未得到校准,导致差分隐私审计不可靠;第二,Carlini等人(2022)提出的高效似然比攻击(LiRA)实现中存在有限总体偏差,使得每个样本的漏洞评估存在正向偏差。针对第一个问题,作者提出一种后处理方法,通过校准不同样本的FPR来提升可靠性。实验表明,该方法能有效修正评估偏差,使MIA评价更适用于差分隐私审计。本文适合从事隐私保护、差分隐私审计以及成员推理攻击评估的研究人员阅读。

💡 推荐理由: 揭示了当前高效成员推理攻击评估方法的漏洞,影响差分隐私审计的可信度,为更可靠的隐私泄露评估提供了重要改进方向。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Abtin Mahyar, Masoumeh Shafieinejad, Yuhan Liu, Xi He

该论文研究了针对表格扩散模型的成员推断攻击(Membership Inference Attack, MIA)。扩散模型在合成表格数据方面表现出色,常被用于共享敏感记录,但其隐私保护能力受到质疑。现有成员推断攻击通常假设单表设置,忽略了真实敏感数据中的多表关系结构。论文指出,在多表场景下评估隐私风险的核心挑战在于如何利用与目标表相关联的辅助信息(如其父表)。然而,在攻击推理时,攻击者只能观察到目标表中目标记录的属性值。为此,作者提出了FERMI(FEature-mapping for Relational Membership Inference)方法,通过将单表特征与关系成员信号相结合来解决这一差距。FERMI 首先在训练阶段利用辅助关系表学习一个特征映射,将多表关系转化为单表特征上的增强信号;在推理时仅需目标记录的属性值即可进行成员推断。实验基于三种表格扩散架构(如 CTGAN、TableDiffusion 等)和三个真实关系数据集(如 IMDB、Airbnb 等),评估了白盒和黑盒设置下的攻击性能。结果显示,FERMI 在假阳性率(FPR)为0.1时,真阳性率(TPR)在白盒设置下比单表基线提升高达53%,在黑盒设置下提升22%。论文的主要贡献在于首次将关系结构引入表格扩散模型的成员推断攻击,并提出了有效的特征映射方法,显著提高了攻击效果。该研究提醒数据发布者:即使在推理时仅释放单表数据,多表关系在训练阶段的存在仍可能被攻击者利用,从而加剧隐私泄露风险。适合从事数据隐私、机器学习安全的研究人员以及使用合成数据发布敏感信息的组织阅读。

💡 推荐理由: 揭示了表格扩散模型在多表关系场景中未被重视的隐私泄露渠道,为数据发布者评估合成数据的成员隐私风险提供了新视角,具有重要警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xue Tan, Hao Luan, Mingyu Luo, Zhuyang Yu, Jun Dai 0001, Xiaoyan Sun 0003, Ping Chen 0003

本文研究了针对开源大语言模型(LLMs)的成员推理攻击(Membership Inference Attack, MIA),即判断特定数据样本是否被用于模型训练。与现有基于模型输出(如loss、logits)的MIA方法不同,作者提出利用模型内部的神经激活(neural activations)来区分成员和非成员样本。具体地,他们设计了一种攻击方法,通过提取目标模型在特定层上的激活值,并训练一个二元分类器(如逻辑回归或MLP)来预测成员关系。实验在多个开源LLM(如GPT-2、LLaMA、OPT等)和多种数据集(如新闻、医疗、代码)上进行,结果表明基于激活的方法显著优于输出基方法,在低假阳性率下取得高召回率。此外,作者分析了不同模型层、不同样本长度对攻击性能的影响,并探讨了防御措施(如差分隐私训练、激活剪枝)的有效性。该研究揭示了LLM内部状态泄露训练数据的风险,为模型隐私评估提供了新工具。

💡 推荐理由: 该方法通过模型内部激活实现更精准的成员推理,对使用开源LLM的组织构成数据泄露风险,尤其涉及合规场景(如GDPR)。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 9.5
Conf: 50%
👥 作者: Yuntao Du 0002, Jiacheng Li, Yuetian Chen, Kaiyuan Zhang 0002, Zhizhen Yuan, Hanshen Xiao, Bruno Ribeiro 0001, Ninghui Li 0001

本文提出了一种新型的成员推理攻击方法——级联代理成员推理攻击(Cascading and Proxy Membership Inference Attacks)。成员推理攻击旨在判断特定数据点是否被用于训练目标机器学习模型,对模型训练的隐私构成严重威胁。现有的攻击方法通常需要访问目标模型的输出或梯度,或者依赖影子模型进行黑盒攻击,但在黑盒场景下效率较低。本文提出的级联代理攻击方法通过构建多个代理模型来模拟目标模型的行为,并利用级联结构逐步提升攻击精度。具体而言,该方法首先训练一个初始代理模型,然后基于该模型对目标模型的输出进行预测,再使用这些预测作为标签训练下一级代理模型,从而逐步逼近目标模型的决策边界。实验在多个标准数据集(如CIFAR-10、ImageNet)和多种模型架构(如ResNet、CNN)上进行,结果表明该方法在攻击成功率上显著优于传统的单代理模型攻击和基于影子模型的攻击,尤其在目标模型参数不可见或仅提供有限输出信息的情况下。此外,该方法还展示了良好的可迁移性,即在一个数据集上训练的代理模型可以有效攻击其他相似数据集上的目标模型。本文的主要贡献包括:1)提出级联代理攻击的通用框架,可适用于黑盒和白盒场景;2)设计高效的训练策略,减少对目标模型查询次数;3)通过大量实验验证了方法的有效性和鲁棒性。该研究揭示了机器学习模型在隐私保护方面的潜在风险,提醒开发者在部署模型时应考虑更严格的防御措施,如差分隐私训练或输出扰动。

💡 推荐理由: 该研究提出了一种更高效的成员推理攻击方法,能在黑盒场景下达到较高准确率,表明现有模型在隐私保护上仍存在薄弱环节,对数据合规和隐私安全有警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xinyu Tang 0003, Saeed Mahloujifar, Liwei Song, Virat Shejwalkar, Milad Nasr, Amir Houmansadr, Prateek Mittal

本文针对机器学习模型中的成员推断攻击(Membership Inference Attacks)提出一种名为SELENA的隐私保护训练框架。成员推断攻击旨在通过模型对成员与非成员输入的差异行为推断某样本是否属于训练集,是衡量模型隐私泄露的关键指标。现有防御方法如差分隐私虽能提供可证隐私保障,但会显著降低模型效用。本文的目标是在保持模型效用(utility)的同时提高成员隐私,即实现经验性隐私保障。SELENA框架包含两大核心组件:第一,Split-AI集成架构,它将训练数据随机划分为多个子集,并在每个子集上独立训练模型;在推理阶段,对于每个输入样本,仅聚合那些训练数据中不含该样本的模型输出,从而阻断攻击者利用模型行为差异。作者证明Split-AI能防御一大类成员推断攻击,但仍可能受到自适应攻击。因此,第二组件采用自蒸馏(Self-Distillation)方法,通过Split-AI集成对训练数据集进行自蒸馏,无需外部公共数据集,进一步增强对更强攻击的鲁棒性。在多个基准数据集上的实验表明,SELENA在成员隐私与效用之间实现了优于现有技术的权衡。本文适合机器学习安全研究人员、隐私保护从业者以及关注模型隐私泄露的工程师阅读。

💡 推荐理由: 成员推断攻击是评估机器学习模型隐私风险的核心方法,SELENA在保持模型高性能的同时显著提升隐私,为实际部署提供实用方案。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jing Shang, Jian Wang 0015, Kailun Wang, Jiqiang Liu, Nan Jiang 0005, Md. Armanuzzaman, Ziming Zhao 0001

模型剪枝是压缩深度学习模型的技术,迭代剪枝能在较低效用损失下获得更好的压缩效果。然而,本文分析发现迭代剪枝显著增加了模型的记忆化程度,使得剪枝后的模型更容易受到成员推理攻击(MIA)。现有的大多数MIA防御方法主要针对原始未剪枝模型,对迭代剪枝模型效果有限。为此,本文提出了一种名为WEMEM的新框架,旨在削弱迭代剪枝过程中的记忆化。具体而言,分析识别出导致迭代剪枝中记忆化增加的两个重要因素:数据重用和固有记忆性。考虑两者的单独及组合影响,形成三种导致迭代剪枝模型记忆化增强的场景。根据这些因素的特征,设计了三种防御原语,并通过组合这些原语,针对每种场景提出了有效的防御方法。在十种自适应MIA下的综合实验证明了所提出防御的有效性。此外,与现有五种防御方法相比,本文的防御在隐私-效用权衡和效率方面表现更优。同时,还增强了自动调整设置以达到最优防御的能力,提升了实用性。

💡 推荐理由: 迭代剪枝在模型压缩中广泛应用,但其引入的成员推理攻击风险常被忽略。本文揭示了这一漏洞并提出系统化防御,对保护模型隐私具有重要意义。

🎯 建议动作: 研究跟进

排序因子: Community 数据源 (+1) | LLM 评分加成 (+0.5)