已收录文章摘要,完整内容可前往原文阅读。
大模型预训练算力成本持续攀升,想在不动模型架构、不改并行策略的前提下探索预训练吞吐优化路径?Nous Research 提出的 Token-Superposition Training (TST) 提