PyTorch、JAX 的 softmax 藏了两个 bug:DeepMind 新论文讲解(中英字幕)

GiantPandaLLM 2026年10月26日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

DeepMind 新论文指出 PyTorch、JAX 里标准的 softmax 和交叉熵有两个数值 bug:模型很自信时正确类别的梯度被舍成 0(Softmax Collapse),蒸馏时学生贴近老师