KeyPooling: Measuring Where LLM API Relay Paths Collapse Prompt Cache Isolation
本论文提出 KeyPooling，一种针对大语言模型（LLM）API 中继（relay）路径的缓存隔离测量方法。研究背景是：LLM API 中继通常对客户进行独立认证，但转发请求时往往使用共享的提供商凭据。提供商将提示缓存（prompt c
#cache-isolation
共收录 1 条相关情报。
← 返回所有主题共收录 1 条相关情报。
← 返回所有主题本论文提出 KeyPooling，一种针对大语言模型（LLM）API 中继（relay）路径的缓存隔离测量方法。研究背景是：LLM API 中继通常对客户进行独立认证，但转发请求时往往使用共享的提供商凭据。提供商将提示缓存（prompt c