多教师OPD收敛速度不一致？小红书 AllSpark 提出D³-MOPD

已收录文章摘要，完整内容可前往原文阅读。

导读在大模型合版训练过程中，多教师在线蒸馏（MOPD）让学生模型同时向多位专家教师学习。