SGLang 中的 CUDA Graph 进阶指南

GiantPandaLLM 2026年08月18日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

SGLang 中的 CUDA Graph 进阶指南作者:SGLang TeamTL;DRCUDA Graph 的目标是消除 kernel launch 开销,但要在真实的推理引擎中尽可能接近这一理想收