已收录文章摘要，完整内容可前往原文阅读。
训练大模型前，团队往往先用一批小模型估算“大模型该做多大、数据该喂多少”。但常用的 Chinchilla 缩放律虽然在已知区域拟合接近满分，一到模型和数据极不平衡的昂贵边界，预测就会系统跑偏。Meta