蚂蚁联合提出稀疏OPD新思路:只监督0.1%的token就能追平全量!

智猩猩AI 2026年10月11日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

智猩猩AI整理论文作者投稿在线策略蒸馏(On-Policy Distillation,OPD)里,如果教师只对 1% 的 token 给出指导,学生还能学得和逐 token 全量蒸馏一样好吗?蚂蚁集团