本文研究的是 LLM 安全路由（safety routing）评测中的方法论缺陷。安全路由器的做法是把每个请求分派给多个候选模型中的一个，其效果通常以「与最佳单模型（best single model）对比」来评判。问题在于，主流路由基准是在评测数据本身上挑选这个最佳单模型作为比较基线的。在基准自身的同分布设定下，这种乐观偏差无害；但一旦发生分布漂移（distribution shift），基线就会因「用测试标签选出的最优模型」而虚高。作者系统量化了这一偏差。在 HELM Safety 上，随机切分下这项选择成本占危害量的 0.003–0.030，而在留出类别（held-out categories）切分下达到 0.045–0.113，量级与归因于路由的全部劣势相当，且方向在两个已发布的评判器（judge）下都成立。换到 AgentDojo，当留出整套套件（suite）时，该成本上升 7–9 倍。作者预先固定规则选取了七个安全语料，其中三个通过注册式区间检验，四个优于其后构造的置换零假设；四个未通过区间检验的语料中有三个存在某些模型观测危害为零的情况。作者指出前人工作已证明该偏差的方向，本文进一步在危害与准确率两个维度上给出量级估计，证明偏差在留出切分下更大，并用「乐观度 + 依赖漂移的后悔值（shift-dependent regret）」为其给出上界。作者的核心结论是：在漂移条件下诚实评估时，路由在这些基准上收益甚微——多数模型池单元中嵌套路由器最终服务的模型与诚实基线所选模型相同；在接近饱和的 AgentDojo 语料上，即便一个完美的预分派路由器最多也只值 2 个危害点。此外，作者发现模型对「后期注入」的显式识别能力是可被操纵的：在留出重跑中，知道目标模型身份的对手可使 GPT-5.4 被判定的识别率下降 19.6 个百分点，并由独立标签确认。将同一攻击离线反事实地组合进控制器时，危害估计会随回退模型不同而升高或降低。作者据此建议：安全路由应在分布漂移下评估、基线选择不得使用测试标签，而基于「识别」的防御应以危害为指标、并面向可决定模型输入内容的对手进行评分。