SFT、OPD 与困难样本:重新思考 RL 前的蒸馏

AI for Research 2026年10月30日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

开始之前,先思考一个问题:一道题,学生模型采样八次都做错,专家模型能做对。你会怎么让模型学会?继续跑 RL,还是拿专家解答做 SFT?如果只有对错奖励,这八条全错的回答在 GRPO 中优势都是零,本轮