Cache Me, Catch You: Cache Related Security Threats in LLM Serving Frameworks.
本文首次系统性地研究了大型语言模型（LLM）服务框架中缓存机制引发的安全威胁。随着LLM在生产环境中的广泛部署，服务框架（如vLLM、TGI等）广泛采用缓存技术（如键值缓存、前缀缓存）以降低推理延迟和成本。然而，这些缓存设计引入了新的攻击面
#cache-security
共收录 1 条相关情报。
← 返回所有主题共收录 1 条相关情报。
← 返回所有主题本文首次系统性地研究了大型语言模型（LLM）服务框架中缓存机制引发的安全威胁。随着LLM在生产环境中的广泛部署，服务框架（如vLLM、TGI等）广泛采用缓存技术（如键值缓存、前缀缓存）以降低推理延迟和成本。然而，这些缓存设计引入了新的攻击面