已收录文章摘要,完整内容可前往原文阅读。
DeepMind 新论文指出 PyTorch、JAX 里标准的 softmax 和交叉熵有两个数值 bug:模型很自信时正确类别的梯度被舍成 0(Softmax Collapse),蒸馏时学生贴近老师