已收录文章摘要,完整内容可前往原文阅读。
这篇文章由苏神发表于科学空间,尝试从数据误差、优化误差和架构误差三个角度理解 Scaling Law,并串起学习率、批大小、模型规模与训练数据之间的关系。对于想弄清“模型该做多大、数据该用多少、训练预