Memorization Is Not Extraction: Tight Differential-Privacy Bounds and Audit Blind Spots
本文研究大语言模型(LLM)中记忆与提取现象的度量问题。长期以来,模型记忆的定义繁多且关系不明,差分隐私(DP)常被当作同时控制所有记忆形式的统一代理。作者针对实际应用中最重要的两类定义——反事实记忆(counterfactual memo
共收录 3 条相关情报。
← 返回所有主题本文研究大语言模型(LLM)中记忆与提取现象的度量问题。长期以来,模型记忆的定义繁多且关系不明,差分隐私(DP)常被当作同时控制所有记忆形式的统一代理。作者针对实际应用中最重要的两类定义——反事实记忆(counterfactual memo
该论文研究了一个此前被忽视的安全问题:能否通过黑盒API交互,从前沿专有大型推理模型(LRM)中近乎逐字地提取隐藏的思维链(Chain-of-Thought, CoT)。隐藏CoT被视为模型的核心资产,尤其是商业模型内部的推理过程,过去普遍
本论文针对大语言模型(LLM)量化是否能够降低隐私风险的问题展开研究。现有相关研究几乎全部使用成员推断(membership inference)来衡量隐私,但作者认为这并非大多数人所关心的实际风险:人们真正担心的是模型逐字复现训练数据。为