已收录文章摘要,完整内容可前往原文阅读。
你用大模型写东西时,等待光标一个字一个字往外蹦,那种延迟感其实是有物理原因的。自回归模型(就是 GPT 这一路,autoregressive,简称 AR)天生一次前向只吐一个 token——每个字都要