本文系统研究了深度研究Agent在公共基准评测中因推理时进行网络搜索而引发的“搜索时污染”（Search-Time Contamination, STC）问题。STC是指Agent在回答问题时，通过Web搜索检索到基准测试的元数据、问题上下文甚至真实答案，从而绕过预期推理过程，导致评测得分虚高。作者定义了三种严重程度递增的污染类型：基准元数据泄漏（Benchmark Metadata Leakage）、问题上下文泄漏（Question-Context Leakage）和显式答案泄漏（Explicit Answer Leakage），并设计了检测算法来识别这些污染并量化其对性能的影响。实验在六个公共基准上评估了现代深度研究Agent，发现STC普遍存在，可导致性能膨胀高达4%。研究结果表明，现有评测可能高估了Agent的真实推理能力。为此，作者倡导采用污染感知的评测实践，包括隔离沙盒、透明的搜索轨迹以及受控的基准访问。本文对于理解LLM Agent能力评估的可靠性具有重要意义，适合AI安全评测、基准设计及Agent开发者阅读。

本文探讨了大型语言模型（LLM）基准数据集被预训练语料库污染的问题。污染导致基准数据集无法可靠衡量模型的泛化能力。作者提出基准数据集应具有“抗污染”特性，即数据集对训练不可学习（unlearnable），但支持推理（inference）。为实现这一目标，论文首先强调了基准数据集污染的普遍性，并勾勒了抗污染数据集应具备的属性。其次，作者指出Transformer架构中推理与训练流程的非对称性可被利用来支持抗污染。第三，概述了使这些数据集在不同LLM架构间互操作所需数学进展。最后，呼吁社区通过推进新型抗污染方法、开发支持性方法与平台、以及将抗污染基准纳入现有评估流程来确保LLM评估的可靠性。本文适合LLM研究者、评估工具开发者及关注模型安全性的从业人员阅读。