已收录文章摘要,完整内容可前往原文阅读。
开始之前,先思考一个问题:一道题,学生模型采样八次都做错,专家模型能做对。你会怎么让模型学会?继续跑 RL,还是拿专家解答做 SFT?如果只有对错奖励,这八条全错的回答在 GRPO 中优势都是零,本轮