给大模型「投机解码」松绑:免训练,即插即用近似验证,速度再提15%

新智元 2026年09月05日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

新智元报道 大语言模型「逐字蹦」式的自回归生成,是推理慢、成本高的核心瓶颈。投机解码(Speculative Decoding)让一个轻量「草稿模型」先猜好一整块字、再由大模型一次并行「批改」,