已收录文章摘要，完整内容可前往原文阅读。
智猩猩AI整理编辑：林夕MoE的专家越来越多，但每个Token实际激活的专家却越来越少。这让模型获得更大参数规模的同时，也把一个老问题推到了更极端的场景：专家负载怎么均衡？9月30日，Qwen团队研究