CachePrune: Privacy-Aware and Fine-Grained KV Cache Sharing for Efficient LLM Inference

大型语言模型（LLM）依赖键值（KV）缓存加速推理，许多服务系统进一步在用户请求间共享KV缓存以减少冗余计算。然而，无限制的跨用户共享引入了侧信道漏洞，攻击者可以通过探测缓存是否命中来推断用户输入。现有防御完全禁用共享以避免泄漏，但这种粗粒

历史摘要 · 未重新核验 · arXiv cs.CR