已收录文章摘要,完整内容可前往原文阅读。
智猩猩AI整理编辑:BugMakerMoE 模型已经把每个 token 的计算压到了少数几个专家上,但到了推测解码,另一个问题冒了出来。一次验证的不只是一个 token,而是一棵 draft tree