已收录文章摘要，完整内容可前往原文阅读。
重新审视 CPU 资源作为语音模型 Serving 过程的一等公民从 2023 年 SGLang 项目启动开始，我们一直对于 long context inference 有非常大的投入。最初的时候，