已收录文章摘要,完整内容可前往原文阅读。
过去一年的大模型后训练圈,OPD(On-Policy Distillation)正在变成一个绕不开的关键词。它的做法很符合直觉:不要只让学生模型去模仿老师写好的标准答案,而是让学生自己先做一遍题,然后