训练中自己生成的 Rollout，模型还能学到什么？小红书 AllSpark 提出 ROSS

已收录文章摘要，完整内容可前往原文阅读。

从自己生成的经验中学习，已成为大语言模型后训练的重要方式。 强化学习与 on-policy 蒸馏都依赖模型在训练中生成的 rollout。