从 On-Policy Baseline 到 Off-Policy Score Centering！深度解析 score-centering 的前世今生

已收录文章摘要，完整内容可前往原文阅读。

Off-policy强化学习，采样与目标策略的差异会导致传统基线失效引发梯度漂移。ScoreCentering通过将Score在采样分布下中心化，恢复了基线不变性并消除了均值漂移。其梯度等价于特定的STE，可与TIS/MIS结合以修正截断偏差，但并未完全解决分布不匹配的根本偏差