已收录文章摘要，完整内容可前往原文阅读。
引言：任务是一步步做的，奖励却只看最后一步从网页购物、家居操作到科学实验，语言智能体要完成的任务越来越长，一条轨迹往往包含 30 步以上的连续决策。用强化学习训练这类智能体时，一个老问题变得格外突出：