该论文研究的是「在线策略蒸馏（On-Policy Distillation, OPD）」场景下的成员推断攻击（Membership Inference）。OPD 的训练方式与传统蒸馏不同：它让学生模型在自己生成的轨迹上，去匹配教师模型给出的下一个 token 概率分布。问题在于，教师模型在蒸馏时往往会被喂入一些「特权信息」（privileged information），这些信息可能包含敏感记录（例如私有数据集中的样本、医疗问答记录等）。那么一个自然且关键的安全问题是：学生模型在蒸馏完成后，是否会泄露「某条记录曾被用于教师监督」这一事实？作者指出，此前这一问题几乎没有被系统研究，本文据称是首个针对该场景的成员推断系统性研究。 论文首先观察到：固定参考答案上的损失（fixed reference-answer loss）往往无法暴露成员信号，而学生模型新采样（fresh）的轨迹中却存在稀疏但可用的成员信号。难点在于，这些信号会与其他记录训练所带来的概率变化混杂在一起，形成干扰。 为此作者提出 Leaky 方法：从目标模型（学生）采样新的轨迹，取每个 token 的对数概率，并与「用不含候选记录的数据训练出的一组匹配参考模型」在同一 token 上的最大对数概率进行比较；随后对得到的差值套用 Leaky ReLU，即保留正差值、对负差值进行降权，以此近似修正非成员模型中偶然出现的正差值（假阳性信号）。 实验覆盖数学推理、医疗问答、代码生成三大类共 15 个目标模型。结果显示 Leaky 在所有评估基线上均取得更优表现：主评估中平均 AUROC 达 0.875，而每个目标上最强的基线仅为 0.614；在相同的采样轨迹上，最强基线的平均 AUROC 为 0.826。作者由此得出结论：即便固定参考答案损失几乎给不出成员证据，经由 OPD 训练的学生模型依然会泄露教师监督所用记录的成员身份。对安全从业者而言，这意味着「蒸馏」并非天然的隐私保护手段，反而是新的隐私侧信道。