突破分词器边界:面向跨模型家族的 On-Policy Distillation

深度学习自然语言处理 2026年06月12日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

过去一年的大模型后训练圈,OPD(On-Policy Distillation)正在变成一个绕不开的关键词。它的做法很符合直觉:不要只让学生模型去模仿老师写好的标准答案,而是让学生自己先做一遍题,然后