Characterizing Contention-Induced Reliability Collapse in KV-Cache Timing Side Channels for Multi-Tenant LLM Serving
该论文研究多租户大语言模型（LLM）服务场景下，共享KV缓存（key-value cache）重用所引发的定时侧信道攻击在真实并发负载下的可靠性问题。尽管已有工作表明此类攻击可行，但在实际多租户竞争环境中其稳定性尚未被充分理解。作者在真实共
#KV-cache
共收录 7 条相关情报。
← 返回所有主题Forgetting Without Restarting: Execution-State Unlearning for Stateful LLM Agents
本文针对长时运行的有状态 LLM 智能体（agent）提出“执行状态遗忘”（execution-state unlearning）问题。这类智能体不仅保存对话记录，还累积了压缩摘要、明文记忆、待执行的工具计划，以及每次服务 API 下的 K
Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference
本文研究多租户大语言模型（LLM）推理场景中 KV 缓存引发的时序侧信道泄露问题。KV 缓存是现代 LLM 推理的关键吞吐优化手段，通过跨请求复用前缀来加速生成；但在多租户部署中，该缓存被多个租户共享，攻击者可以利用缓存命中延迟差异，重建其
HijackKV: New Threat in Position-Independent KV Cache Reuse
本文揭示了大型语言模型（LLM）中位置无关KV缓存重用机制引入的一种新安全威胁——KV缓存劫持（KV Cache Hijacking）。传统的基于前缀的KV缓存重用精确匹配token和位置，缓存命中率低。为提升效率，近期系统优化提出位置无关
Agent-Assisted Side-Channel Attacks on Non-Prefix KV Cache in RAG
本文揭示了现代大语言模型（LLM）服务引擎中检索增强生成（RAG）和非前缀键值（KV）缓存融合机制存在的一类结构性安全漏洞。与以往需要严格线性前缀对齐的KV缓存侧信道攻击不同，本文发现基于分块感知内存调度的微架构机制会无意中泄露连续的“St
Protection Is (Nearly) All You Need: Structural Protection Dominates Scoring in Globally Capped KV Eviction
本文研究了在共享全局上限的解码时（decode-time）场景下，多种KV缓存逐出策略（LRU, H2O, SnapKV, StreamingLLM, Ada-KV, QUEST, Random）的表现。作者发现，这些策略存在一个共同的漏洞
Shadow in the Cache: Unveiling and Mitigating Privacy Risks of KV-cache in LLM Inference.
本文研究了大型语言模型（LLM）推理过程中键值缓存（KV-cache）带来的隐私风险。KV-cache是LLM中用于加速自回归解码的关键组件，它会存储中间注意力层的键和值张量。作者发现，KV-cache中可能残留用户输入的敏感信息，例如个人