打破MOPD静态配比:D³-MOPD:用训练中的 KL 信号做多教师蒸馏的动态数据调度,3× 收敛加速、学生性能逼近专家教师

深度学习自然语言处理 2026年09月05日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

多老师在线蒸馏(Multi-teacher On-Policy Distillation,MOPD)最近被越来越多的工作用作"通用后训练"的关键一环:让一个学生模型同时向 Math、Code、Inst