SFT、OPD 与困难样本：重新思考 RL 前的蒸馏
开始之前，先思考一个问题：一道题，学生模型采样八次都做错，专家模型能做对。你会怎么让模型学会？继续跑 RL，还是拿专家解答做 SFT？如果只有对错奖励，这八条全错的回答在 GRPO 中优势都是零，本轮
2026-10-30 09:25 · 摘要已收录，可打开文章获取原文内容
大模型位置编码（PE）演进万字详解：从 Sinusoidal 到 RoPE，再到百万上下文
笔者最近在参与一个多模态项目的开发，需要处理图像和文本的混合输入。出于好奇，翻阅了 Qwen-VL 系列的实现源码，看到 MRoPE 把 head_dim 的频率对切成 T/H/W 三段分别旋转，觉得
2026-06-10 20:43 · 摘要已收录，可打开文章获取原文内容
重磅！AI首次三方盲测攻破图灵测试：我们真的无法分辨人与机器了吗？
今天必须和大家聊一个爆炸性新闻，可能将彻底改变我们对人工智能的认知。就在昨天一份来自加州大学圣地亚哥分校的预印本论文刷屏了科技圈——《Large Language Models Pass the Tu
2025-04-02 17:24 · 摘要已收录，可打开文章获取原文内容
复现R1的最佳RL设置是什么？有哪些坑？关于激发和改进 R1 类推理模型的实证研究....
EMPIRICAL STUDY深度解析 STILL-3推理模型实验报告探索重现 R1 推理能力的过程与关键发现在上篇分享为什么RL比SFT/DPO效果更好？什么情况下可能会比SFT差？CMU最新研究爆
2025-03-14 23:58 · 摘要已收录，可打开文章获取原文内容
为什么RL比SFT/DPO效果更好？什么情况下可能会比SFT差？CMU最新研究爆了....
这是一篇3天前发表的论文，名称是《All Roads Lead to Likelihood—The Value of Reinforcement Learning in Fine-Tuning》作者是
2025-03-09 01:49 · 摘要已收录，可打开文章获取原文内容
智谱发布GLM-4-Voice: 端到端类人语音会话机器人 ！Let's Think Var-by-Var：即兴概率推理....
前言：平淡无奇的一天又来了，今天要分享的内容主要是关于模型结构改进、大模型、预训练的，喜欢的小伙伴赶紧去阅读相关论文吧。1. GLM-4-Voice: 通向智能及类似人类的端到端语音会话机器人标题：G
2024-12-04 21:03 · 摘要已收录，可打开文章获取原文内容
一种简单且可证明的大模型测试时计算规模定律 | 逆向思考让语言模型变得更强的推理者....
前言：科研就像一场冒险，而看论文就是你的探险工具！只有通过深入阅读，才能找到宝藏，发现那些意想不到的科研奇遇哦！1. 一种简单且可证明的大模型测试时计算规模定律标题：A Simple and Prov
2024-12-03 20:22 · 摘要已收录，可打开文章获取原文内容
HiFiVFS：高保真度视频换脸技术！2位层判别KV缓存实现大模型推理的极限 | 基于蒙特卡洛树搜索的高级自动化推理范式....
前言：论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。1. HiFiVFS：高保真度视
2024-11-28 19:32 · 摘要已收录，可打开文章获取原文内容
重新思考MLLMs中的token缩减：朝向训练免费加速的统一范式 | 新概念学习、旧知识保留：概念瓶颈模型的持续学习新研究...
前言：科研就像一场冒险，而看论文就是你的探险工具！只有通过深入阅读，才能找到宝藏，发现那些意想不到的科研奇遇哦！1. 重新思考MLLMs中的token缩减：朝向训练免费加速的统一范式 标题：Reth
2024-11-27 19:52 · 摘要已收录，可打开文章获取原文内容
艾伦研究所发布最新TULU3：推动开放语言模型后训练前沿！反馈驱动的小型语言模型的数学推理能力提升研究....
前言：看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货
2024-11-25 21:30 · 摘要已收录，可打开文章获取原文内容
Marco-O1：面向开放式解决方案的开放推理模型 | 从“愚蠢”问题中学习提高大模型性能，但效果有限....
前言：科研就像一场冒险，而看论文就是你的探险工具！只有通过深入阅读，才能找到宝藏，发现那些意想不到的科研奇遇哦！1. 面向开放式解决方案的开放推理模型 标题：Marco-o1: Towards Op
2024-11-22 21:23 · 摘要已收录，可打开文章获取原文内容
模型剪枝后的训练规模定律研究 | LLaVA-o1：让视觉语言模型逐步推理 | Xmodel-1.5：一种百亿参数的多语种大模型
前言：看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货
2024-11-18 21:56 · 摘要已收录，可打开文章获取原文内容
模型预测：幻觉与模态崩溃之间的权衡 | 腾讯发布Spider：任意到多模态大模型 | 有限数据下的微调语言模型的实用指南....
前言：看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货
2024-11-15 19:13 · 摘要已收录，可打开文章获取原文内容
MikuDance: 混合动力动画系统 | FP8与BF16训练在大模型中的权衡 | 利用强化学习微调大模型突破限制...
前言：科研就像一场冒险，而看论文就是你的探险工具！只有通过深入阅读，才能找到宝藏，发现那些意想不到的科研奇遇哦！1. Dynamic Subset Tuning：扩大大模型参数有效训练的操作范围 标
2024-11-14 18:04 · 摘要已收录，可打开文章获取原文内容
通过学习动态揭示LLM推理中的泛化能力 | 大模型训练数据的调查报告 | 有效且精确的提示优化：记忆中例子的好处....
前言：论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。1. 学习动态揭示了大模型推理中
2024-11-13 19:57 · 摘要已收录，可打开文章获取原文内容
GPT4o商业微调真的融入了新知识？Wikipedia的质量如何？Fox-1技术报告....
前言：看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货
2024-11-11 20:27 · 摘要已收录，可打开文章获取原文内容
OpenAI开源最新评测SimpleQA：你的模型是否“知道自己知道什么”？预训练代理和世界模型的扩展定律研究....
前言：看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货
2024-11-08 19:43 · 摘要已收录，可打开文章获取原文内容
实现Kaggle大师级水平的自动数据科学代理Agent来了！RuAG：规则增强生成在大模型中的应用....
前言：平淡无奇的一天又来了，今天要分享的内容主要是关于大模型、模型评估、大语言模型的，喜欢的小伙伴赶紧去阅读相关论文吧。1. 自动数据科学代理Agent K v1.0实现Kaggle大师级水平 标题
2024-11-07 20:20 · 摘要已收录，可打开文章获取原文内容
大模型训练的改进条件和预训练策略！自Logits进化解码法：提高大模型的事实性...
前言：如果你想成为一只科学界的“独角兽”，那么看论文是必不可少的。只有掌握了最新的技术和理论，才能在这个竞争激烈的市场中脱颖而出，成为那只最闪亮的“独角兽”！1. 大模型训练的改进条件和预训练策略
2024-11-06 21:18 · 摘要已收录，可打开文章获取原文内容
腾讯混元宣布开源2个大模型！Meta发布带隐藏结构的规模定律研究....
前言：平淡无奇的一天又来了，今天要分享的内容主要是关于大模型、大语言模型、预训练的，喜欢的小伙伴赶紧去阅读相关论文吧。1. 腾讯的Hunyuan-Large:目前最大的开源Transformer混合专
2024-11-05 20:38 · 摘要已收录，可打开文章获取原文内容