The Serialized Bridge: Understanding and Recovering LLM Serving Performance under Blackwell GPU Confidential Computing
本文研究了在 Blackwell GPU 机密计算（GPU-CC）环境下，LLM 推理服务性能显著下降的根本原因。作者在 NVIDIA RTX Pro 6000 和 B300 HGX 两个平台上进行了实验，发现性能瓶颈并非来自 GPU 计算
#llm-serving
共收录 2 条相关情报。
← 返回所有主题Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
该论文提出了GRIEF，一种面向LLM推理引擎的灰盒模糊测试工具，旨在发现服务层漏洞。当前LLM推理引擎（如vLLM、SGLang）引入了KV缓存、批处理、前缀共享、推测解码、适配器和多租户调度等机制，这些共享状态行为仅在真实并发工作负载下