CacheProbe: Auditing Prompt Cache Isolation in Gateway APIs
本文研究大型语言模型(LLM)推理API中提示缓存(prompt caching)实现的安全隔离问题。提示缓存通过复用请求的KV缓存来节省计算资源并加速响应,但许多实现存在时序攻击或元数据泄露风险。Gu等人(ICML 2025)已提出一种审
共收录 1 条相关情报。
← 返回所有主题本文研究大型语言模型(LLM)推理API中提示缓存(prompt caching)实现的安全隔离问题。提示缓存通过复用请求的KV缓存来节省计算资源并加速响应,但许多实现存在时序攻击或元数据泄露风险。Gu等人(ICML 2025)已提出一种审