已收录文章摘要，完整内容可前往原文阅读。
智猩猩AI整理编辑：没方现有的推测解码系统（Speculative Decoding）仍存在不少性能损耗。单请求场景下，目标模型权重读取占据大部分推理时间，但每轮接受的Token数量有限；批量请求场景