大模型智能

专注于人工智能与大模型方向研究领域。 (wechat feed made by @ttttmr https://wechat2rss.xlab.app)

分类:ai覆盖:仅收录已发现链接或部分历史文章最近成功:2026-11-06 06:01文章数:72

从 TIS 到 score centering,重新理解 LLM RL 中的训推不一致

过去一段时间,SC算法比较火热。借这个机会,正好学习了下SC论文中的公式推导,并复习了下之前一些TIS的相关论文,借这篇文章系统梳理一下LLMRL中的TIM(TrainingInferenceMismatch)问题的根源以及解决方法。为什么关注on-policyLLMRL

2026-10-08 00:00 · 摘要已收录,可打开文章获取原文内容

到底什么是 Context?万字长文谈 Pi Agent context 管理

Prompt和Context到底应该怎么区分?我的理解是,Prompt更偏向相对静态的指令设计,而Context更偏向Agent在运行过程中动态形成的信息环境。 Prompt往往提前定义了模型“应该怎么做”,而Context会随着任务推进不断变化,决定模型“此刻基于哪些信息来做”

2026-09-28 00:00 · 摘要已收录,可打开文章获取原文内容

从 On-Policy Baseline 到 Off-Policy Score Centering!深度解析 score-centering 的前世今生

Off-policy强化学习,采样与目标策略的差异会导致传统基线失效引发梯度漂移。ScoreCentering通过将Score在采样分布下中心化,恢复了基线不变性并消除了均值漂移。其梯度等价于特定的STE,可与TIS/MIS结合以修正截断偏差,但并未完全解决分布不匹配的根本偏差

2026-09-27 00:00 · 摘要已收录,可打开文章获取原文内容

综述 | 迈向能够自我改进的AI:递归自我改进(RSI)

系统梳理RecursiveSelf-Improvement(RSI)的定义、统一闭环框架、演化对象与未来方向,探讨AI如何从“会自我修改”走向“能够持续、可靠地改进自己”。

2026-09-18 00:00 · 摘要已收录,可打开文章获取原文内容

从性能调优和工程复杂性,系统聊聊流水线并行,是怎么污染整个训练框架的!

本文主要从性能调优和工程复杂性两个方面阐述了流水线并行的问题。在几种并行方式里面,流水线并行是最不一样的一种,却直接把计算图沿层切开,对整个前向和反向的控制流进行全局修改。结果就是它的概念会一路泄漏到训练框架的各个角落,其本身也不会加速计算

2026-09-15 00:00 · 摘要已收录,可打开文章获取原文内容