已收录文章摘要,完整内容可前往原文阅读。
在过去数年里,大语言模型(LLM)能力的跃升在很大程度上被归因于规模法则(Scaling Laws)——即参数量、训练数据规模以及计算预算的协同扩张。然而,随着模型推理上下文的不断拓展、长程复杂任务的