本文系统研究了深度研究Agent在公共基准评测中因推理时进行网络搜索而引发的“搜索时污染”(Search-Time Contamination, STC)问题。STC是指Agent在回答问题时,通过Web搜索检索到基准测试的元数据、问题上下文甚至真实答案,从而绕过预期推理过程,导致评测得分虚高。作者定义了三种严重程度递增的污染类型:基准元数据泄漏(Benchmark Metadata Leakage)、问题上下文泄漏(Question-Context Leakage)和显式答案泄漏(Explicit Answer Leakage),并设计了检测算法来识别这些污染并量化其对性能的影响。实验在六个公共基准上评估了现代深度研究Agent,发现STC普遍存在,可导致性能膨胀高达4%。研究结果表明,现有评测可能高估了Agent的真实推理能力。为此,作者倡导采用污染感知的评测实践,包括隔离沙盒、透明的搜索轨迹以及受控的基准访问。本文对于理解LLM Agent能力评估的可靠性具有重要意义,适合AI安全评测、基准设计及Agent开发者阅读。
💡 推荐理由: 该研究揭示了深度研究Agent评测中的严重漏洞,即搜索污染可能导致性能虚高,误导社区对模型真实能力的判断,对LLM能力评估和AI安全评测方法具有重要警示作用。
🎯 建议动作: 关注污染物检测算法并改进内部Agent评测流程,采用隔离沙盒和透明搜索轨迹。