已收录文章摘要,完整内容可前往原文阅读。
PDL 在 SGLang Kimi K3 中的应用Kimi K3 是一个 2.8T 参数的混合注意力模型。decode 一个 token 需要经过 93 个注意力层(69 层 KDA + 24 层 M