预训练加速新配方:不改动架构的 Token Superposition 训练法

深度学习自然语言处理 2026年05月17日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

大模型预训练算力成本持续攀升,想在不动模型架构、不改并行策略的前提下探索预训练吞吐优化路径?Nous Research 提出的 Token-Superposition Training (TST) 提