Neighborhood Watch: Privacy Risks in Seeded Local Combination Synthetic Data
该论文研究了基于局部组合(local combination)方法的合成数据生成技术所导致的隐私泄露风险。合成数据被视为在敏感场景下共享数据的一种有前景的解决方案,但近年来的隐私攻击研究表明,尤其是那些不基于差分隐私等正式隐私框架的合成数据
共收录 47 条相关情报。
← 返回所有主题该论文研究了基于局部组合(local combination)方法的合成数据生成技术所导致的隐私泄露风险。合成数据被视为在敏感场景下共享数据的一种有前景的解决方案,但近年来的隐私攻击研究表明,尤其是那些不基于差分隐私等正式隐私框架的合成数据
DIME 是一篇针对扩散模型成员推理攻击的研究论文。成员推理攻击旨在判断某个数据样本是否被包含在模型训练集中,这类攻击对数据隐私构成直接威胁。已有的扩散模型成员推理攻击大多依赖启发式策略,且需要较大的查询预算,实用性受限。DIME 从理论层
本文首次提出针对大语言模型(LLM)上下文学习(In-Context Learning, ICL)场景的成员推理攻击(Membership Inference Attack)。ICL作为一种参数高效的适配方法,通过提供少量示例即可让LLM适
本文提出 MemCatalyst,一套面向视觉-语言模型(VLM)的数据投毒工具,旨在增强数据审计(尤其是成员推理攻击)的有效性。研究背景是:VLM 依赖海量互联网数据训练,数据持有人(如艺术家)迫切需要确认自己的数据是否被未经授权用于模型
本文研究多模态视觉-语言模型(VLMs)在成员推断攻击(Membership Inference Attack, MIA)下的隐私泄露问题。随着智能体AI(agentic AI)的发展,多模态模型(MMs)被广泛部署,但其训练数据可能通过黑
该论文针对机器学习模型隐私评估中广泛使用的成员推断攻击(Membership Inference Attacks, MIAs)展开系统研究。现有MIA研究主要聚焦于提升AUC、准确率、TPR@低FPR等性能指标,或利用这些指标评估隐私保护方
本文研究检索增强生成(RAG)系统中的成员推断攻击(Membership Inference Attack, MIA)问题。RAG 通过将外部知识库中的文档检索结果注入到大语言模型的上下文中,实现无需调整模型参数的接地生成。尽管不更新权重避
本论文针对黑盒语言模型训练数据泄露问题,提出了基于概率视角的成员推断(MIA)审计方法,并批判了传统聚合指标(如ROC-AUC)的误导性。作者首先指出,现有的MIA评估常被无模型盲基线混淆,这类基线仅通过表面文本特征就能较好区分成员与非成员
本文首次系统研究了神经网络剪枝过程中的隐私风险,特别是成员推理攻击(Membership Inference Attacks)的影响。作者指出,现有的剪枝研究主要关注如何在保持模型精度的同时提高稀疏性,但忽略了剪枝可能带来的训练数据记忆化风
本文针对联邦大语言模型(FedLLMs)中的成员推断攻击(MIA)问题展开研究。FedLLMs允许多方协作微调大语言模型而无需共享原始数据,从而解决资源有限和隐私保护等挑战。然而,即使数据不离本地,共享的梯度仍然可能通过成员推断攻击泄露敏感
本文针对机器学习模型遗忘算法是否真正消除了训练数据影响的问题,提出了一种实用的审计方法。研究者设计了一个基于成员推断攻击的审计器,通过计算与数据相关的遗忘参数ε的下界,来评估遗忘算法是否达到其声称的隐私保证。在CIFAR-100和Shake
本文首次系统地研究了“单数据集多模型”(ODMM)范式下的隐私放大风险。在ODMM中,同一个数据集(如人脸或医疗图像)被重复用于训练多个模型,每个模型独立部署为API服务以完成不同任务(如人脸识别、年龄估计、种族分类)。现有隐私研究工作多关
本文提出首个统一框架,用于对文本生成、文本到图像、图像到文本三种模态的生成模型进行成员推理攻击(MIA)。现有方法针对单一模态设计,无法跨模态适用。作者发现一个模态无关的观察:生成模型的输出分布可近似其训练数据分布。利用这一特性,他们在共享
本文针对近年流行的扩散模型(diffusion models)提出了一种新的黑盒成员推理攻击(Membership Inference Attack, MIA)框架。随着预训练扩散模型的高质量发布,越来越多的用户下载这些模型并使用下游数据集
本论文研究了机器学习中数据重要性(data importance)与各类攻击脆弱性之间的关系。尽管已有工作表明不同训练样本对模型效用的贡献存在差异,但“高价值数据是否更容易受到攻击”这一关键问题尚未被系统回答。作者分析了五种典型攻击类型(包
本文针对黑盒成员推理攻击(MIAs)中存在的查询效率问题,提出了一种预查询样本选择框架PSS-MIA。传统的黑盒MIAs对所有候选样本不加区分地进行查询,导致大量查询成本浪费在信息量低的样本上,且增加了查询暴露风险。作者首先定义了问题:哪些
本文研究了表格基础模型(tabular foundation models)中注意力机制的隐私漏洞。尽管这些模型通常在合成数据上预训练,被认为隐私风险较低,但它们采用上下文学习(in-context learning),在推理时可能直接包含
该论文首次系统性地分析了图神经网络(GNN)在节点级成员推断攻击下的隐私风险。GNN广泛应用于社交网络、蛋白质结构等图数据,但先前对隐私攻击的研究主要集中在欧几里得数据(如图像和文本)上,GNN的隐私漏洞尚未被充分探索。作者定义了三种威胁模
本文针对序列模型(如大型语言模型和自回归图像生成器)中的成员推断攻击进行了研究。序列模型在训练过程中往往会记忆训练数据中的敏感信息,并在生成过程中无意泄露这些信息,这带来了严重的法律和隐私风险。然而,现有的隐私审计工具由于假设与序列生成过程
针对图神经网络(GNN)的现有隐私分析大多继承自非图数据场景的假设,忽略了结构依赖性和随机训练图采样。尤其是节点相关的先验导致仅凭第一类和第二类错误无法充分刻画最佳成员推断测试。为此,本文提出贝叶斯成员隐私(BMP),一种采样感知的节点级成