Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation
该论文提出了一种以'被击败的缓解措施'为组织维度的基准污染（benchmark contamination）分类法，旨在解决当前排行榜分数中模型能力与数据泄漏在观测上难以区分的问题。作者指出现有污染分类法主要用于自动化检测，但未能回答发布者
#contamination
共收录 3 条相关情报。
← 返回所有主题Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation
本文系统研究了深度研究Agent在公共基准评测中因推理时进行网络搜索而引发的“搜索时污染”（Search-Time Contamination, STC）问题。STC是指Agent在回答问题时，通过Web搜索检索到基准测试的元数据、问题上下
LLM Benchmark Datasets Should Be Contamination-Resistant
本文探讨了大型语言模型（LLM）基准数据集被预训练语料库污染的问题。污染导致基准数据集无法可靠衡量模型的泛化能力。作者提出基准数据集应具有“抗污染”特性，即数据集对训练不可学习（unlearnable），但支持推理（inference）。为