#in-context-learning

共收录 1 条相关安全情报。

← 返回所有主题
推荐 5.5
Conf: 50%
👥 作者: Francesco Capano, Jonas Böhler

本文研究了大型表格模型(LTM)在上下文学习(ICL)中的参数记忆化现象。尽管大型语言模型(LLM)已被证实会无意中记忆训练数据,但LTM的记忆化动态尚不完全清楚。为此,作者提出了一个名为ICLMEM的探测框架,旨在区分基于上下文的预测与参数记忆化。该框架通过零信息多项选择上下文剥离有效上下文模式,迫使模型依赖其参数记忆。受控微调设置建立了成员资格地面真相,并考虑了常见陷阱(如分布偏移、特征污染、基础率谬误),同时使用预训练基础模型作为参考来校准样本难度。在领先的、基于现实世界训练的LTM上进行受控评估后,在10个任务中的8个检测到中等记忆化信号(AUC最高0.67,1%假阳性率下的真阳性率>0.1)。值得注意的是,低基数任务和二分类任务的记忆化信号最强,但在现实训练条件下大部分消失。研究发现LTM的记忆化信号仅在特定条件下出现(如单任务微调、固定样本许多 epochs、小查询大小)。为保护敏感数据,必须采取适当措施,本文对此进行了讨论。

💡 推荐理由: 表格模型广泛应用于金融、医疗等敏感数据场景,其记忆化特性可能泄露训练数据中的隐私信息。本文首次系统性地探测表格上下文学习中的记忆化,为后续防护措施提供基础。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)