本文报告了前沿大语言模型(LLM)输出中一个惊人的统计规律性,使得仅依赖CPU的评分基元(scoring primitive)能以每个token 2.6微秒的速度运行,估计延迟比现有的基于采样的检测器低五个数量级(10万倍)。研究跨越了来自五家独立厂商的六个当代模型、两种生成规模以及五个保留域。发现token的秩-频率分布收敛到同一个两参数的Mandelbrot排名分布,36个模型-域拟合中有34个R²超过0.94,35个在AIC准则下优于Zipf分布。尽管共享同一分布族,但模型并未因此变成统计上的重复:拟合的Mandelbrot参数在不同模型之间保持清晰可分离——跨模型的q值范围(1.63至3.69)远超每个模型的自举标准差(0.03至0.10),相差一个数量级以上,因此仅凭数千个输出token即可获得数十个标准差的区分度。由此产生两个能力:第一,统计模型指纹识别——可以测试来自供应商的LLM文本是否与声称的模型家族一致,无需加密水印或访问模型内部,支持来源验证和静默替换审计;第二,一个模型无关的参考分布用于黑盒输出评估,从中推导出单遍评分基元,该基元在可获取模型对数概率时与之组合,在仅能使用秩的模式下退化为可用于封闭API的版本。在FRANK、TruthfulQA和HaluEval上的初步结果展示了该基元在哪些场景有帮助(词汇异常、不支持实体)以及哪些场景结构性无法处理(使用领域适当词汇的推理错误)。本文将基元定位为复合评估栈中的首遍分诊层,而非基于采样或源条件验证器的替代品。
💡 推荐理由: 该研究提供了一种极低延迟、无需访问模型内部或水印的LLM输出验证方法,可用于实时检测日志中的文本是否来自声称的模型,以及识别异常输出,对安全运维中的输出监控和溯源有重要价值。
🎯 建议动作: 研究跟进