已收录文章摘要，完整内容可前往原文阅读。
在大模型强化学习（RL）中，训练过程的优化最终需要体现在模型的实际输出上。然而，训练引擎与推理引擎即使共享模型参数，也可能因为数值精度、解码实现和计算后端等差异，产生不同的输出概率分布。当训练端的更新