在线蒸馏也会⼀步错步步错?Relay-OPD让教师关键时刻接棒

PaperWeekly 2026年08月23日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

学生推理一旦早早走偏,教师也可能被错误前缀带着走。Relay-OPD 选择在最值得纠偏的位置,让教师短暂接棒再交还学生。随着⼤模型能⼒的持续提升,如何把强模型的能⼒⾼效迁移给⼩模型,正成为后训练阶段的