已收录文章摘要,完整内容可前往原文阅读。
大模型强化学习越来越「吃算力」,最昂贵的环节之一正是 Rollout。把 Rollout 从 BF16 压到 FP4,理论上可以显著降低计算和显存开销,但问题也随之而来 —— 训练端与 Rollout