一点点偏差,为什么会把大模型 RL 带跑偏?

深度学习自然语言处理 2026年09月24日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

同一份模型权重,采样端与训练端也可能给出不同概率。Together AI 的新论文把强化学习更新拆成学习信号与漂移,提出 Score Centering 校正后者。本文从直觉、公式到原始实验,解释它为