已收录文章摘要，完整内容可前往原文阅读。
机器之心发布大模型训练已经跑到万卡集群规模，显存始终是那道隐形的门槛。MoE 架构把大模型推到了万亿参数级别，也埋下了一颗定时炸弹：显存尖峰。某个微批次的 token 一旦集中涌向少数专家，激活显存瞬