该论文研究的是「外包大模型推理的可验证性」问题:当用户把推理任务交给第三方服务(云厂商、推理市场)时,如何让服务方向验证者证明其确实执行了指定模型的指定计算,并且没有篡改输出,同时把审计成本压到服务方可承受的水平。作者提出 Sampled Layerwise Proofs(SLP)协议与原型:对一条推理轨迹中每个 chunk(分块)的边界激活值做承诺,先吸收全部承诺、再抽取挑战,随后只对验证者随机选中的一部分 chunk 以及绑定 prompt 与答案的 chunk 生成证明。这样审计覆盖率变成一个运行时可调参数,而承诺集合只需生成一次。在 TinyLlama-1.1B 轨迹上,证明 47 个 chunk 中的 7 个只需全量证明 22.0% 的时间与 6.8% 的证明体积。作者观察到证明开销主要由权重而非 token 数决定,于是把并发请求打包进同一条轨迹,用块对角因果掩码隔离,并把每个请求的 prompt 与答案绑定到对应槽位;12 个打包请求的证明耗时 181.9 秒,比按单次证明成本分别做 12 次节省 6.5 倍;模拟服务场景下 12 个请求达每请求 30.6 秒、每次验证仅 0.6 秒,并能拒绝对被篡改答案的证明。工程上,借助磁盘驻留的整数权重与流式多项式承诺,单次 Llama-2-70B 推理可在 2TB 内存 CPU 主机上完成:封存 163 个 chunk、证明其中 5 个,生成 4.34 MiB 证明耗时 1,259 秒,验证 46.3 秒且验证方无需持有权重。作者还指出被证明的对象是定点规范化模型,严重的保真度损失源自残差流位宽,并用「LLM 感知观察器」修复,在 WikiText-2 的 334,705 个测试位置上与浮点参考达成 84.8%–84.9% 的 argmax 一致率。论文明确列出局限:保证仅覆盖被证明的 chunk;70B 场景下某个固定的非法 chunk 只有 3/161 的概率被抽中;仅依赖清单的 Fiat-Shamir 调度可被以每次约 12.5 ms 的成本研磨,需要外部排序的挑战;所有测量均使用测试参考串。
💡 推荐理由: 它把「外包推理不可信」从合规口号推进到可量化成本的可验证协议,并给出 1.1B 到 70B 的实测开销曲线。对依赖第三方推理的 AI 服务、模型市场与审计方,这决定了能否在不暴露权重的前提下验证输出未被篡改,以及采样式证明的残余风险有多大。
🎯 建议动作: 研究跟进:评估该协议在自建或采购推理服务中的可行性与成本,并跟踪其覆盖率与漏检概率的实际取值