这篇论文审视大语言模型成员推断（membership inference）证据的可靠性。传统做法是：若模型对某句子预测代价异常低（困惑度低），就推断它出现在训练数据中；但几乎所有已发表的此类检验都必须猜测哪些句子是训练集成员、哪些不是，这种猜测本身就是偏差来源。作者利用 OLMo-2 与 Pythia 两个开源模型族公开的预训练语料，以及覆盖这些语料的公开索引，直接取得任意句子出现的精确重复次数，从而消除猜测。基于精确计数，论文从两侧'夹击'回答三个问题。其一，在普通文本实际具有的重复水平下，从 1B 到 13B 的五个模型对自身暴露最多只留下极微弱痕迹：作者让同一句子在两个模型上读取，在构造上抵消流畅度与文本质量影响，测得秩相关约 -0.08（-1 为完全相关，0 为无关）。其二，只有当重复次数超过约一千次时痕迹才变强，而两个语料库对'哪些句子被重复'判断一致，因为这些句子属于名人名言式的知名文本，暴露程度因此无法与'知名度'区分。其三，作者展示表观成员信号如何被制造：把成员句子改一个词来构造非成员是常见做法，模型确实偏好原句，但该差距与原文出现 1 次还是 100 次无关，说明模型奖励的是作者用词而非记忆；而在重复超过一千次的 12 个可测句子上，差距随模型规模增大，恰在相同临界点。此外，把对照组换成语体（register）不同的句子，可把检测器 AUC 从 0.83 提升到 0.94（0.5 为随机，1.0 为完美区分）。作者开源了句子集、重复计数与代码。结论是：成员证据只在被混淆之处才可检测，现有成员推断结论需谨慎解读。

本文针对联邦学习场景中数据去重面临的隐私和可扩展性挑战，提出了一种高效隐私保护的多方去重协议 EP-MPD。在联邦学习中，不同客户端的数据可能存在重复样本，去除这些重复能提升模型性能并节省训练时间与能耗。然而，传统去重需要聚合各方数据，会泄露隐私。EP-MPD 基于两个新颖的私有集合交集（PSI）协议变体构建，采用模块化设计，能够在多个客户端数据集上安全高效地移除重复数据，而无需暴露原始数据。实验表明，在大型语言模型的联邦训练中，当重复率在 10%-30% 时，应用 EP-MPD 可使困惑度（perplexity）最多降低 19.62%，运行时间最多减少 27.95%。该协议在隐私和性能之间取得了良好平衡，适用于大规模联邦学习应用。本文的主要贡献包括：首次针对联邦学习提出隐私保护去重协议，设计两种高效的 PSI 变体，并通过实验验证了去重对联邦 LLM 训练的显著收益。适合隐私保护机器学习、联邦学习及大模型训练领域的研究者和工程师阅读。