Membership Inference in Fine-tuned Diffusion Language Models via Token-level Memorization Asymmetry
该论文关注扩散语言模型（DLMs）的隐私风险，这类模型作为自回归语言模型的替代方案，具备并行生成与双向上下文建模等优势，但其成员推理攻击等隐私问题尚未被充分研究。作者首先通过扩散训练动力学的理论分析，识别出一种称为“token级记忆不对称性
#diffusion-language-model
共收录 2 条相关情报。
← 返回所有主题Extracting Training Data from Diffusion Language Models via Infilling
本研究关注扩散语言模型（DLM）中的训练数据记忆与提取问题。以往对于大语言模型记忆性的研究几乎完全基于前缀条件提取，这适合自回归模型，但扩散语言模型可以在任意位置去噪被遮蔽的token，因此仅用前缀探测会低估训练数据提取的风险。为真实建模D