该论文关注扩散语言模型（DLMs）的隐私风险，这类模型作为自回归语言模型的替代方案，具备并行生成与双向上下文建模等优势，但其成员推理攻击等隐私问题尚未被充分研究。作者首先通过扩散训练动力学的理论分析，识别出一种称为“token级记忆不对称性”的现象，并由此设计了一种名为 Q-Skew 的指标，该指标基于分位数加权的偏度统计，用于对微调后的扩散语言模型进行成员推理攻击。实验在多个微调数据集和不同模型上进行，结果表明 Q-Skew 在成员推理任务上优于现有基线方法。此外，作者进一步展示 Q-Skew 还能辅助其他隐私侵犯场景，如个人身份信息提取。该研究揭示了一个此前被忽视的隐私攻击面，并强调了系统化评估扩散语言模型隐私风险的必要性。论文贡献包括：提出并理论验证了 token 级记忆不对称性；设计高效的成员推理指标 Q-Skew；通过实验验证其有效性；并扩展了该方法的潜在应用场景。适合关注生成式 AI 隐私、成员推理攻击和模型安全评估的研究人员阅读。

本研究关注扩散语言模型（DLM）中的训练数据记忆与提取问题。以往对于大语言模型记忆性的研究几乎完全基于前缀条件提取，这适合自回归模型，但扩散语言模型可以在任意位置去噪被遮蔽的token，因此仅用前缀探测会低估训练数据提取的风险。为真实建模DLM中训练数据的可提取性，作者提出了"填充提取"（infilling extraction）协议，该协议由任意二元掩码参数化，涵盖前缀条件提取并考虑DLM的双向归纳偏差。在LLaDA-8B和Dream-7B模型上，针对五种提取模式、三种训练流程和三个语料库（涵盖逐字和部分泄露）进行了实验。结果显示，掩码几何形状控制着可提取性：边缘条件掩码提取的逐字序列比前缀条件掩码多三倍，且双向访问打开了自回归模型无法使用的通道。特别是，一个能够访问训练数据（其中个人可识别信息已被编辑）的现实攻击者，从DLM中提取已编辑电子邮件地址的召回率甚至高于从规模匹配的自回归模型中提取。解码的可调参数显著影响提取性能，而后续的监督微调阶段并未消除先前的记忆。本工作揭示了扩散语言模型在训练数据泄露方面的独特风险，强调了在部署前需评估此类模型的隐私安全性。