The Serialized Bridge: Understanding and Recovering LLM Serving Performance under Blackwell GPU Confidential Computing
本文研究了在 Blackwell GPU 机密计算(GPU-CC)环境下,LLM 推理服务性能显著下降的根本原因。作者在 NVIDIA RTX Pro 6000 和 B300 HGX 两个平台上进行了实验,发现性能瓶颈并非来自 GPU 计算
共收录 1 条相关情报。
← 返回所有主题本文研究了在 Blackwell GPU 机密计算(GPU-CC)环境下,LLM 推理服务性能显著下降的根本原因。作者在 NVIDIA RTX Pro 6000 和 B300 HGX 两个平台上进行了实验,发现性能瓶颈并非来自 GPU 计算