已收录文章摘要，完整内容可前往原文阅读。
（本文阅读时间：12 分钟）大模型预训练一直是一件"既要又要"的事情：既希望训练稳定、可持续扩展，又希望训练效率达到极致。这一过程就像“戴着镣铐跳舞”，既要满足各种约束，又要尽可能发挥模型潜力，无疑是