本文研究了LLM API中继（relay）中的提示缓存隔离问题。LLM API中继服务为每个客户进行身份验证，但通常通过共享的上游提供商（如OpenAI和Anthropic）凭证转发请求。提供商将提示缓存限定于上游主体和命名空间，因此当多个中继客户端被映射到同一个缓存身份时，他们能够观察到彼此的缓存状态。先前的研究已经发现某些端点存在缓存共享，但没有系统性地确定究竟是什么因素（如凭证、池、适配器或嵌套跳）最终控制了缓存身份。作者提出了称为KeyPooling的测量方法，通过跟踪缓存查找和写入路径，验证运行时转换，并逐个测试预测的身份组件。在连接OpenAI和Anthropic的五个开源网关中，默认情况下没有任何一个将客户绑定到唯一的上游凭证；在共享凭证下，所有五个网关都暴露了跨客户的缓存读取。通过主体和命名空间分割、池关联、适配器和嵌套中继的对比，作者定位了控制身份转换的关键点。进一步地，在与结果无关的每周OpenRouter测试框架中，测试覆盖了80.5%的合格令牌量，发现28个标签中有12个存在跨账户读取，占33.7%的流量。在一个生产路由上，受控过程在没有目标账户访问的情况下成功恢复了连续八个目标位置。更广泛的测试表明，缓存粒度、路由、速率限制、归属和预算等功能都只是实现逐令牌恢复的条件，而不是安全控制。基于这些发现，作者提出了防御契约：每个客户必须进入提供者强制执行的独立域，或者必须确保从经过验证的身份派生的命名空间能够存活于每一次最终缓存查找和写入。通过将命名空间分割放置在可重用的公共前缀之后，可以在1.7-2.5%的成本增加下保留大部分模型重用收益。该研究指出了LLM API中继缓存隔离的实际缺陷，为网关设计和多租户隔离提供了重要参考。

本文研究多租户大语言模型（LLM）推理场景中 KV 缓存引发的时序侧信道泄露问题。KV 缓存是现代 LLM 推理的关键吞吐优化手段，通过跨请求复用前缀来加速生成；但在多租户部署中，该缓存被多个租户共享，攻击者可以利用缓存命中延迟差异，重建其他租户的私有提示词。已有三种攻击（PROMPTPEEK、EarlyBird、InputSnatch）利用了这一通道，在未防护的 vLLM 和 SGLang 上最高可达 100% 的攻击成功率，具体成功率取决于缓存架构和提示词结构。作者提出 KVGov，一个统一的治理层，专门应对这三类攻击的前缀缓存路径。其核心机制是为每个主体（租户）引入独立的盐值 sigma_p = HMAC_K(secret, principal_id)，并以此作为块哈希链的种子，使不同主体之间的缓存键在密码学意义上互不相交。消融实验（N=1000 次试验，固定随机种子，确定性评估）证明该盐值是阻断攻击的必要且充分条件。KVGov 还包含 ORIGAMI，一种基于 Stackelberg 博弈的水填充审计调度器，在现实租户异质性（基尼系数 0.63）下将攻击者的期望效用降低 12.6%；演化稳定性分析给出 31.6% 的攻击者流行度临界点，低于该阈值时全局缓存保持稳定。在真实硬件（Qwen2.5-7B-Instruct、vLLM 0.26.0、NVIDIA A100）上，作者测量得到经过门控验证的冷/热 TTFT 比例为 0.22，确认了生产规模下该通道的可利用性；防御效果在与测量校准的模拟环境中评估。作者还在独立技术栈（Apple Metal 上的 llama.cpp）复现了该通道，比例为 0.093。最后，文章指出隔离与缓存效率并不必然冲突：识别信息只存在于提示词分叉处，因此在分叉边界注入盐值而非在链根处注入，可以在不产生跨主体信号的前提下保留约 93% 的前缀缓存收益。