卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法

机器之心 2026年10月16日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

机器之心编辑部大模型走向大规模在线服务,一个常见却又有些反直觉的现象是:卡加得越来越多,吞吐却涨得越来越慢。问题出在哪?在 DeepSeek 等 MoE 模型的一类部署中,多组计算卡并行处理大量请求,