NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models

本研究揭示了大型基础语言模型在预训练阶段可能无意中记忆了公开的数值基准数据（如金融因子、经济指标、气候数据），导致基于时间截断的评估实际上测量的是模型的记忆能力而非泛化能力。作者提出了 NumLeak 测量框架，该框架结合了对生产环境闭源模

历史摘要 · 未重新核验 · arXiv cs.CR