本文研究了大型表格模型（LTM）在上下文学习（ICL）中的参数记忆化现象。尽管大型语言模型（LLM）已被证实会无意中记忆训练数据，但LTM的记忆化动态尚不完全清楚。为此，作者提出了一个名为ICLMEM的探测框架，旨在区分基于上下文的预测与参数记忆化。该框架通过零信息多项选择上下文剥离有效上下文模式，迫使模型依赖其参数记忆。受控微调设置建立了成员资格地面真相，并考虑了常见陷阱（如分布偏移、特征污染、基础率谬误），同时使用预训练基础模型作为参考来校准样本难度。在领先的、基于现实世界训练的LTM上进行受控评估后，在10个任务中的8个检测到中等记忆化信号（AUC最高0.67，1%假阳性率下的真阳性率>0.1）。值得注意的是，低基数任务和二分类任务的记忆化信号最强，但在现实训练条件下大部分消失。研究发现LTM的记忆化信号仅在特定条件下出现（如单任务微调、固定样本许多 epochs、小查询大小）。为保护敏感数据，必须采取适当措施，本文对此进行了讨论。

该论文针对大语言模型（LLM）记忆评估中的探针选择问题展开研究。作者使用固定前缀窗口的mean-NLL记忆探针（窗口大小K=20）对Qwen2.5-VL-7B模型的金丝雀测试床进行审计，发现了三个典型的事后分歧案例，揭示了探针窗口设置对记忆判定结果的关键影响。案例C3（假阴性，窗口截断）：敏感信息落在K=20窗口外，导致探针分数平稳而精确召回率（hit@1）下降，表明小窗口会漏判记忆。案例C4（假阳性，非秘密漂移）：探针分数波动，但约99%的波动源于非秘密的前缀部分，秘密跨度内容及召回率未变，说明探针可能错误地将非秘密噪声归为记忆证据。案例C5（不明确的窗口内下降）：在未充分训练的基线上探针分数下降，但全跨度秘密NLL为正且精确召回率为0，显示探针与真实记忆状态的不一致。基于这些发现，论文建议在断言秘密特异性之前，应报告以下四个指标：（i）全跨度秘密NLL（反映整体记忆强度）；（ii）跨度局部化分解（精确定位记忆源）；（iii）行为精确召回（k>=4，衡量恢复质量）；（iv）诱饵探针（排除非秘密干扰）。实验基于单一骨干网络的受控金丝雀数据，结论具有测试床特异性。该研究揭示了当前LLM记忆审计工具在探针设计上的潜在盲区，提示社区需采用多维度验证方法以避免误判。

该论文针对CSIRT（计算机安全事件响应团队）在微调语言模型处理漏洞扫描记录时面临的隐私风险，首次实证研究了差分隐私随机梯度下降（DP SGD）与HMAC假名化两种隐私保护技术的交互效果。研究使用1B至3B参数的小语言模型（SLMs），在结构化CSIRT数据上评估了96个LoRA适配器，涵盖四种训练模式：原始微调、大批量QLoRA训练、以及隐私预算ε=2和ε=8的DP SGD。通过植入20个金丝雀样本、实施四种提取攻击以及一种针对HMAC假名化标识符的双重攻击来审计模型记忆。主要发现有三：第一，匹配更新控制（matched update controls）通过减少优化器更新次数，能解释记忆减少的66%至132%，平均效应为100%；在此设置下，DP SGD虽提供了形式化隐私保证，但并未带来额外的可测量记忆减少。第二，HMAC假名化将原始标识符移出暴露面，使暴露降低40%至61%，且假名化标识符的暴露接近随机基线，未成为新的记忆目标。第三，所有96个适配器在使用四样本提示时的F1分数介于0.19至0.28之间，表明在评估的训练预算下，1B-3B参数的SLMs未能达到可操作性能。该工作为CSIRT场景下隐私保护微调提供了关键实证依据，揭示了DP SGD与假名化在实际效果上的分离，并指出了小模型在此任务上的能力瓶颈。

这篇论文提出了一种名为“循环去噪”（cyclic denoising）的新型提取攻击方法，用于从图像扩散模型中提取训练数据中的记忆化图像。该方法受无序固体中随机组织的启发，通过在受控噪声幅度下重复进行前向和反向扩散过程，使得样本被驱动向具有广泛稳定性谱的吸引子。其中最深层的吸引子具有超稳定性：即使在近乎完全破坏后仍能再生，并能承受数千次噪声-去噪循环。许多这样的吸引子对应于记忆化的训练图像，包括库存照片、品牌水印和网络爬取的人工制品。该攻击仅需采样器级别的控制，无需梯度、权重检查、提示、标题或对训练数据的先验知识。与需要大规模提示生成和事后相似性过滤的生成-过滤攻击不同，该协议完全无条件。作者在Stable Diffusion v1.4和像素空间DDPM上展示了该现象，结果表明循环去噪既是生成景观的物理启发探测工具，也是记忆化审计的实用方法，对隐私保护、版权合规和模型指纹识别具有重要意义。论文还观察到了屈服-like转变、层次部分吸收、提示稳定吸引子和跨初始条件的吸引子集合普遍性等特性。

该研究探讨了代码语言模型中的功能性记忆（functional memorization）现象，即模型在生成代码时可能会复制训练数据中的功能逻辑，即使文本上不相似。现有工作主要基于文本重叠的审计指标来检测训练数据泄露，但代码具有功能等价而文本不同的特点。作者为Olmo-3-32B模型构建了一个反事实实验设置：比较一个中间训练版本（已暴露于目标代码）和一个预训练参考版本（未暴露）。向两个模型提供Python函数签名，并分别评估生成代码的文本相似性和功能相似性（使用LLM作为评判和基于执行的方法）。实验结果显示明确的功能性记忆证据，表明需要超越文本重叠的审计指标。该工作对代码生成模型的安全审计和数据隐私保护具有重要意义。

本研究关注扩散语言模型（DLM）中的训练数据记忆与提取问题。以往对于大语言模型记忆性的研究几乎完全基于前缀条件提取，这适合自回归模型，但扩散语言模型可以在任意位置去噪被遮蔽的token，因此仅用前缀探测会低估训练数据提取的风险。为真实建模DLM中训练数据的可提取性，作者提出了"填充提取"（infilling extraction）协议，该协议由任意二元掩码参数化，涵盖前缀条件提取并考虑DLM的双向归纳偏差。在LLaDA-8B和Dream-7B模型上，针对五种提取模式、三种训练流程和三个语料库（涵盖逐字和部分泄露）进行了实验。结果显示，掩码几何形状控制着可提取性：边缘条件掩码提取的逐字序列比前缀条件掩码多三倍，且双向访问打开了自回归模型无法使用的通道。特别是，一个能够访问训练数据（其中个人可识别信息已被编辑）的现实攻击者，从DLM中提取已编辑电子邮件地址的召回率甚至高于从规模匹配的自回归模型中提取。解码的可调参数显著影响提取性能，而后续的监督微调阶段并未消除先前的记忆。本工作揭示了扩散语言模型在训练数据泄露方面的独特风险，强调了在部署前需评估此类模型的隐私安全性。