第三方LLM网关作为应用与外部LLM提供商之间的关键基础设施层,其功能远超简单的流量转发:它决定调用哪个提供商和模型、是否发生回退、交付哪个流、以及如何计费。由于这些决策和记录在运营商控制的服务内部生成,客户端无法独立区分诚实的中介与路由替换、隐藏回退、流篡改或伪造的溯源记录。本文提出了一种证据绑定的LLM网关架构,将运营商控制平面与受证明的执行平面分离。网关内部的受度量证明运行时(AGR)是唯一允许解密请求、执行路径策略、构造上游调用并签署证据的组件。客户端在将请求加密到绑定AGR度量的密钥之前,验证签名的发布元数据和新鲜证明。AGR强制执行请求级路由、回退和端点约束,调用被接受的提供商,返回加密的响应流,并签署绑定策略、选定路由、端点身份、流承诺和完成元数据到受证明运行时的证据。在AWS Nitro Enclave上的初步Rust原型表明,机制开销适中,并能对受证明运行时之外的策略、路由、端点和流证据篡改进行故障关闭检测。
💡 推荐理由: 该研究解决了第三方LLM网关中的可信问题,使客户端能验证网关操作的真实性,防止路由替换、隐藏回退等攻击,对依赖外部LLM的企业安全架构有重要参考价值。
🎯 建议动作: 研究跟进