帝国理工陆永青院士团队提出MoE推测解码新范式,专家卸载吞吐达到2.06倍!

智猩猩AI 2026年08月23日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

智猩猩AI整理编辑:BugMakerMoE 模型已经把每个 token 的计算压到了少数几个专家上,但到了推测解码,另一个问题冒了出来。一次验证的不只是一个 token,而是一棵 draft tree