随着大语言模型(LLM)的广泛部署,第三方供应商提供的开源权重模型推理服务已成为生态系统的重要一环,但对其推理 API 质量的审计仍然是一个开放问题。本文提出 Ventor-QTest,一种无需目标 API 提供任何概率信息的复合黑盒审计方法。该方法将宿主模型路由视为随机过程,通过两个互补组件度量保真度损失:重复请求组件将每个固定的受限上下文多次发送至目标 API,根据返回文本计数重建分类输出分布,并计算平均保真度损失(AFL),该指标是经过零偏差校正、窗口内平均的粗粒化 KL 散度统计量;长序列组件则通过多次独立运行,基于运行级参考中心惊奇统计量的经验上尾报告极端保真度损失(EFL)。实验在三个支持 logprob 的路由条件下验证了 AFL 与基于 logprob 推导的粗粒化 KL 比较器之间存在强线性一致性;在七个路由快照上,20 轮序列探测揭示了不同路由特有的 EFL 变化。AFL 和 EFL 与 GPQA-Diamond 准确率无明显关联,但显著的 EFL 与 Terminal-Bench 通过率随任务暴露增加而下降的现象吻合,表明长跨度任务的正确性对极端保真度损失更为敏感。这些结果支持在审计长视野代理任务时联合报告 AFL 和 EFL。实现已开源(https://github.com/Tencent/AI-Infra-Guard/tree/main/services/api_checker/ventor_qtest),适合 LLM 安全研究者、模型审计工程师及依赖第三方推理 API 的组织阅读。
💡 推荐理由: 该研究提供了一种无需内部信息的黑盒审计框架,可客观量化托管 LLM API 的保真度损失,尤其适合检测长跨度代理任务的异常退化,为第三方大模型服务的信任评估提供新工具。
🎯 建议动作: 研究跟进