Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots
本文研究大语言模型（LLM）中记忆与提取现象的度量问题。长期以来，模型记忆的定义繁多且关系不明，差分隐私（DP）常被当作同时控制所有记忆形式的统一代理。作者针对实际应用中最重要的两类定义——反事实记忆（counterfactual memo
#memorization
共收录 7 条相关情报。
← 返回所有主题Probing Memorization of Tabular In-Context Learning
本文研究了大型表格模型（LTM）在上下文学习（ICL）中的参数记忆化现象。尽管大型语言模型（LLM）已被证实会无意中记忆训练数据，但LTM的记忆化动态尚不完全清楚。为此，作者提出了一个名为ICLMEM的探测框架，旨在区分基于上下文的预测与参
Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed
该论文针对大语言模型（LLM）记忆评估中的探针选择问题展开研究。作者使用固定前缀窗口的mean-NLL记忆探针（窗口大小K=20）对Qwen2.5-VL-7B模型的金丝雀测试床进行审计，发现了三个典型的事后分歧案例，揭示了探针窗口设置对记忆
Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs
该论文针对CSIRT（计算机安全事件响应团队）在微调语言模型处理漏洞扫描记录时面临的隐私风险，首次实证研究了差分隐私随机梯度下降（DP SGD）与HMAC假名化两种隐私保护技术的交互效果。研究使用1B至3B参数的小语言模型（SLMs），在结
Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models
这篇论文提出了一种名为“循环去噪”（cyclic denoising）的新型提取攻击方法，用于从图像扩散模型中提取训练数据中的记忆化图像。该方法受无序固体中随机组织的启发，通过在受控噪声幅度下重复进行前向和反向扩散过程，使得样本被驱动向具有
Detecting Functional Memorization in Code Language Models
该研究探讨了代码语言模型中的功能性记忆（functional memorization）现象，即模型在生成代码时可能会复制训练数据中的功能逻辑，即使文本上不相似。现有工作主要基于文本重叠的审计指标来检测训练数据泄露，但代码具有功能等价而文本
Extracting Training Data from Diffusion Language Models via Infilling
本研究关注扩散语言模型（DLM）中的训练数据记忆与提取问题。以往对于大语言模型记忆性的研究几乎完全基于前缀条件提取，这适合自回归模型，但扩散语言模型可以在任意位置去噪被遮蔽的token，因此仅用前缀探测会低估训练数据提取的风险。为真实建模D