已收录文章摘要,完整内容可前往原文阅读。
智猩猩AI整理论文作者投稿在线策略蒸馏(On-Policy Distillation,OPD)里,如果教师只对 1% 的 token 给出指导,学生还能学得和逐 token 全量蒸馏一样好吗?蚂蚁集团