这篇论文审视大语言模型成员推断（membership inference）证据的可靠性。传统做法是：若模型对某句子预测代价异常低（困惑度低），就推断它出现在训练数据中；但几乎所有已发表的此类检验都必须猜测哪些句子是训练集成员、哪些不是，这种猜测本身就是偏差来源。作者利用 OLMo-2 与 Pythia 两个开源模型族公开的预训练语料，以及覆盖这些语料的公开索引，直接取得任意句子出现的精确重复次数，从而消除猜测。基于精确计数，论文从两侧'夹击'回答三个问题。其一，在普通文本实际具有的重复水平下，从 1B 到 13B 的五个模型对自身暴露最多只留下极微弱痕迹：作者让同一句子在两个模型上读取，在构造上抵消流畅度与文本质量影响，测得秩相关约 -0.08（-1 为完全相关，0 为无关）。其二，只有当重复次数超过约一千次时痕迹才变强，而两个语料库对'哪些句子被重复'判断一致，因为这些句子属于名人名言式的知名文本，暴露程度因此无法与'知名度'区分。其三，作者展示表观成员信号如何被制造：把成员句子改一个词来构造非成员是常见做法，模型确实偏好原句，但该差距与原文出现 1 次还是 100 次无关，说明模型奖励的是作者用词而非记忆；而在重复超过一千次的 12 个可测句子上，差距随模型规模增大，恰在相同临界点。此外，把对照组换成语体（register）不同的句子，可把检测器 AUC 从 0.83 提升到 0.94（0.5 为随机，1.0 为完美区分）。作者开源了句子集、重复计数与代码。结论是：成员证据只在被混淆之处才可检测，现有成员推断结论需谨慎解读。

本论文针对黑盒语言模型训练数据泄露问题，提出了基于概率视角的成员推断（MIA）审计方法，并批判了传统聚合指标（如ROC-AUC）的误导性。作者首先指出，现有的MIA评估常被无模型盲基线混淆，这类基线仅通过表面文本特征就能较好区分成员与非成员，从而高估了模型实际泄露。通过将采样视为对输出分布的估计，并利用其泛函定义泄露信号，论文在WikiMIA和IID Pile分割上验证了盲基线的强大（WikiMIA上盲词袋分类器AUC达0.97，且采样不增加收益），同时揭示采样在逐文档提取中能发现真实危害。在Pythia系列模型上，实验表明：500个Pile文档中16.6%的文档携带的真实标识符（如邮箱）可被精确提取，并通过错配前缀对照证明泄漏归因于特定文档；泄漏比例随模型容量从410M的5.6%增至6.9B的16.6%。风险分布不均：代码域中标识符泄露强度约为散文域的3倍，且散文域仍有明显正向信号（4.0%到12.1%）；任意保留连续文本的恢复仅显著出现在代码域。温度与核采样影响甚微，16个token前缀即足够，语料去重也未显著降低泄露。论文的核心贡献是发布leakit——一个黑盒提取审计工具，并主张隐私审计应报告按领域分解的逐文档提取率，而非单一聚合AUC。该研究为LLM隐私评估提供了更精确的方法论，适合模型部署方、安全审计人员及AI治理研究者阅读。

本文研究检索增强生成（RAG）系统中的成员推断攻击（MIA）问题。RAG通过将外部知识库引入LLM响应，有效减少幻觉，但同时也带来了新的隐私风险：攻击者可能通过模型输出推断检索语料库中是否存在特定文档，从而泄露敏感信息。现有MIA方法要么依赖于易被检测的模板化查询，要么需要大量非模板化但成本高昂的重复查询，实用性受限。本文提出MEntA（Membership Entailment Attack），一种查询高效且无需影子模型的成员推断攻击方法。MEntA利用自然语言蕴涵（entailment）最大化每次查询的信息增益：攻击者以低成本、广泛的信息寻求性问题进行提问，并度量模型回答与候选文档之间的蕴涵关系，从而判断文档是否被检索。该方法无需训练影子模型，也不需要大量查询预算。在NFCorpus、SCIDOCS和TREC-COVID三个数据集上的实验显示，MEntA仅需5次查询即可达到最高0.991的AUC，在同等条件下比现有方法提升0.20-0.50 AUC。同时，MEntA能够规避当前最先进的RAG防御机制，而现有检测器要么漏检MEntA，要么对良性查询误报率高。在成本方面，与同设置下的最新攻击相比，MEntA将总攻击成本降低至1/65。本文研究揭示了RAG系统中低成本隐私泄露的现实可行性，强调了对隐私感知检索和防御机制的迫切需求。适合安全研究人员、LLM部署者以及隐私工程师阅读。

本研究聚焦于大型语言模型（LLM）在对话中推断用户个人信息（如收入、病史等）所引发的隐私问题。以往研究已证明LLM能够做出潜在违反用户预期的推断，但用户对此类推断的实际感受及期望的控制机制尚不明确。为此，作者开发了“反思层”（Reflective Layer）可视化工具，它能够从用户的ChatGPT历史对话中提取出未明确陈述的推断示例。通过混合研究方法，对18名ChatGPT长期用户进行实验，共评估了215个从他们自身对话中提取的推断。出乎意料的是，参与者的主要反应是好奇和兴趣，而非困扰或担忧。不舒适感主要出现在推断被用户认为“不具代表性”或“与预期用途不符”时。此外，参与者对广告商或第三方应用使用这些推断的接受度显著低于平台提供商。这些发现表明，LLM推断的可接受性不仅取决于推断内容，还受到关于推断如何生成、在平台内保留以及传输到平台外部的上下文敏感性规范的制约。该研究为设计更符合用户期望的LLM隐私控制机制提供了实证依据。

该论文提出了PrivCode，这是首个专门为代码数据集设计的差分隐私（DP）合成器，旨在解决大型语言模型（LLM）在代码生成时微调私有数据集可能引发的隐私泄露问题。传统的DP方法在代码数据上面临语法依赖强和隐私-效用权衡的挑战。PrivCode采用两阶段框架：第一阶段“隐私净化”，利用DP-SGD训练模型生成符合差分隐私的合成代码，并通过引入语法信息保留代码结构；第二阶段“效用提升”，在合成的无隐私代码上微调更大的预训练LLM，以缓解DP带来的效用损失。在四个LLM和四个基准测试上的实验表明，PrivCode在各种任务下生成的代码具有更高的效用，同时在不同隐私预算下能保护敏感数据。该研究为代码领域的隐私保护生成提供了新的方法论，适合对差分隐私、代码生成和LLM隐私保护感兴趣的研究者阅读。

本文研究了针对开源大语言模型（LLMs）的成员推理攻击（Membership Inference Attack, MIA），即判断特定数据样本是否被用于模型训练。与现有基于模型输出（如loss、logits）的MIA方法不同，作者提出利用模型内部的神经激活（neural activations）来区分成员和非成员样本。具体地，他们设计了一种攻击方法，通过提取目标模型在特定层上的激活值，并训练一个二元分类器（如逻辑回归或MLP）来预测成员关系。实验在多个开源LLM（如GPT-2、LLaMA、OPT等）和多种数据集（如新闻、医疗、代码）上进行，结果表明基于激活的方法显著优于输出基方法，在低假阳性率下取得高召回率。此外，作者分析了不同模型层、不同样本长度对攻击性能的影响，并探讨了防御措施（如差分隐私训练、激活剪枝）的有效性。该研究揭示了LLM内部状态泄露训练数据的风险，为模型隐私评估提供了新工具。

大型语言模型（LLMs）在交互式和检索增强场景中日益部署，引发了显著的隐私担忧。以往的研究通常孤立地分析成员推断攻击（MIA）、属性推断攻击（AIA）、数据提取攻击（DEA）和后门攻击（BA），缺乏对它们在常见系统因素下行为的统一理解。本文首先建立了一个统一的威胁模型和符号体系，复现了一组具有代表性的隐私攻击，随后开展结构化消融研究，系统评估模型架构、规模、数据集特征以及检索配置等关键因素对攻击效果的影响。实验发现：基于掩码的成员推断攻击表现出强且稳定的信号；后门攻击凭借其触发机制获得始终如一的高成功率；属性推断和数据提取攻击仍具挑战，准确率较低，但因其针对敏感个人信息而风险突出。总体而言，LLM系统中的隐私风险高度依赖上下文，并受设计选择驱动，强调了全面评估和知情部署实践的必要性。