显存放不下的 MoE 大模型，消费级显卡怎么跑？SGLang Paged Experts 技术解读
SGLang 的 Paged Experts 让消费级显卡也能在本地跑显存放不下的 MoE 大模型：每层显存只放 K 个常用专家，全部专家放在锁页内存里，缺哪个搬哪个，计算一直在 GPU 上。视频用一
2026-11-05 00:00 · 摘要已收录，可打开文章获取原文内容
都快2027年了，多模态还有什么值得研究？
多模态是一个特别容易陷入信息差的方向。很多时候，你没思路是因为始终局限在自己熟悉的那几个方向上。而多模态其实有很多值得关注的细分领域，从融合机制、模型架构到具体应用，不同技术路线之间也存在不少可以借鉴
2026-11-04 12:00 · 摘要已收录，可打开文章获取原文内容
做了一场 SGLang Review Agent 攻防实验
上周把一个 review PR 用的 agent 接进了 SGLang 的日常流程，想法很简单，PR 太多人看不过来，让 agent 先过一遍，低风险的PR Agent直接全流程接管了。结果四天里七十
2026-11-03 16:14 · 摘要已收录，可打开文章获取原文内容
SGLang Review Inbox + review skill v0.1.6：让 Agent 把 PR 推到合并
相关项目链接，欢迎 star 和使用：SGLang Review Inbox：https://github.com/BBuf/sglang-review-inboxAI-Infra-Auto-Driv
2026-10-31 19:27 · 摘要已收录，可打开文章获取原文内容
逐火之旅，但主角是两个 Agent：Humanize 2 与 Flame Chase 技术解读
上期讲了 Humanize，这期讲 Humanize 2 和其中的 Flame Chase（逐火之旅）。Humanize 2 把流程从 CLI 的 hook 里搬了出来，hmz 自己就是运行时，一个
2026-10-30 17:55 · 摘要已收录，可打开文章获取原文内容
Claude 写了 90% 的代码，谁来 review？Claude Code 团队的代码评审流程（中英字幕）
Claude 写了 Claude Code 约 90% 的代码，Anthropic 每天合并的改动从 2500 涨到 3 万多，连 git 都换成了自研的 Scion。这期讲 Claude Code
2026-10-28 21:36 · 摘要已收录，可打开文章获取原文内容
PyTorch、JAX 的 softmax 藏了两个 bug：DeepMind 新论文讲解（中英字幕）
DeepMind 新论文指出 PyTorch、JAX 里标准的 softmax 和交叉熵有两个数值 bug：模型很自信时正确类别的梯度被舍成 0（Softmax Collapse），蒸馏时学生贴近老师
2026-10-26 22:43 · 摘要已收录，可打开文章获取原文内容
不止 DeepInfer：SGLang 正面对比 DeepSeek 推理引擎（中英字幕）
上期拆解了 DeepSeek 开源的推理引擎 DeepInfer，这期看 SGLang 用 DeepInfer 自己的 benchmark、同样的硬件正面对比：prefill 吞吐最高 1.04 倍，
2026-10-25 14:06 · 摘要已收录，可打开文章获取原文内容
Kimi K3.1 Pro 技术解读：后训练把 RL 做大之后，离最强闭源还有多远？（中英字幕）
K3.1 Pro 今天凌晨发布，让 Opus 5.5 读完官方技术博客和 API 文档，做了个 13 分钟的讲解视频，带中英字幕。 这次架构没动，和K3一样，提升主要来自后训练，RL 的算力加了很多。
2026-10-24 15:55 · 摘要已收录，可打开文章获取原文内容
LLM Attention 演进：MLA 与权重吸收，KV Cache 还能怎么压
点击上方蓝字关注我 导语这是「LLM Attention 演进」系列的第二篇。上一篇讲 MHA → MQA → GQA，靠削减 KV Head 压缩 KV Cache。本篇讲 MLA——不动 Hea
2026-10-22 11:49 · 摘要已收录，可打开文章获取原文内容
DeepSeek 开源推理框架 DeepInfer 拆解：一天 155 万亿 token 的 V4.1 Flash 推理系统
DeepSeek 开源了推理框架 DeepInfer，同时放出编解码组件 deepseek-recipe 和 V4.1 Flash 大规模线上部署的技术报告：单一集群每天 155 万亿 token，按
2026-10-21 00:00 · 摘要已收录，可打开文章获取原文内容
SGLang 低延迟模式：Kernel 与运行时
原文：SGLang Low-Latency Mode: Kernels and Runtime（https://www.lmsys.org/blog/2026-10-18-sglang-low-lat
2026-10-20 10:36 · 摘要已收录，可打开文章获取原文内容
24GB 显卡怎么跑 60GB 视频模型？逐层 offload、INT8、近似 attention | SGLang 技术解读
本期「SGLang 技术解读」：MiniMax-H3 的 DiT 光 BF16 权重就有 61.7 GiB，SGLang 让它在一张 RTX 4090 D（24GB）上跑起来并提速：逐层 offloa
2026-10-19 20:26 · 摘要已收录，可打开文章获取原文内容
DeepSeek V4.1 全景：跨层共享 KV、mHC、Engram 查表、有界重放 | SGLang 技术解读
本期「SGLang 技术解读」：DeepSeek V4.1 全景。三个反常识的设计：40 层里只有 4 层生成长距离 KV、其余层都在复用；模型带着两张共 189 GiB 的查表；prefill 时后
2026-10-18 23:07 · 摘要已收录，可打开文章获取原文内容
Step 5 Preview 首日支持：混合稀疏注意力、两个 MoE backend 与 day-0 RL | SGLang 技术解读（中英字幕）
本期「SGLang 技术解读」，根据 SGLang 博客《Step 5 Preview: Day-0 Inference and RL Support with SGLang and Miles》，结
2026-10-15 17:10 · 摘要已收录，可打开文章获取原文内容
炸裂！GPT-6时代，大模型研究的下一个爆点在哪？
做大模型研究，如果自己课题里的方法改来改去没什么进展，不妨看看相近方向甚至交叉领域的工作。不过大模型相关论文实在太多，想系统了解几个方向，光搜集、筛选文献就要花不少时间。所以我这次重新整理了一份505
2026-10-14 12:00 · 摘要已收录，可打开文章获取原文内容
《AI-Native视频系列》SGLang_NVFP4-KV-Cache_技术解读_中英字幕
本期「SGLang 技术解读」根据 LMSYS 博客《Accelerating Long-Context and Agentic Inference with NVFP4 KV Cache》由 Age
2026-10-13 12:19 · 摘要已收录，可打开文章获取原文内容
8 卡 H20 上的 DeepSeek-V4.1 优化实录：512K 首字加速 12.7 倍
8 卡 H20 上的 DeepSeek-V4.1 优化实录：512K 首字加速 12.7 倍本文转载自知乎作者冯骐，已取得作者同意。原文（https://zhuanlan.zhihu.com/p/20
2026-10-12 21:33 · 摘要已收录，可打开文章获取原文内容
Humanize RLCR：自动编程时代的「判断工程」
Humanize RLCR：自动编程时代的「判断工程」论文：https://arxiv.org/abs/2610.08900代码：https://github.com/PolyArch/humaniz
2026-10-09 17:00 · 摘要已收录，可打开文章获取原文内容
AI-Infra-Auto-Driven-SKILLS v0.1.5：给 Codex / Claude Code 的推理框架工作流
AI-Infra-Auto-Driven-SKILLS v0.1.5：给 Codex / Claude Code 的推理框架工作流相关项目链接，欢迎 star 和使用：SGLang：https://g
2026-10-05 20:32 · 摘要已收录，可打开文章获取原文内容
MegaKernel是创新还是传销？个人观点
只了解一点NV GPU的情况，全是个人观点，和任何人，任何框架，任何公司都没关系实话说Mega Kernel技术就是一个不折不扣的浪费GPU资源的巨大营销有一种说法是Mega Kernel把per u
2026-09-29 16:40 · 摘要已收录，可打开文章获取原文内容
记录下SGLang Diffusion BCG的实现和调试
欢迎关注 SGLang，以及我的 CUDA 学习笔记和 AI Infra SKILLS 仓库：SGLang：https://github.com/sgl-project/sglangCUDA 学习笔记
2026-09-27 21:54 · 摘要已收录，可打开文章获取原文内容
百度百舸演讲：用 Agent 优化 SGLang，从改Kernel修改到端到端验证
最近在百度百舸和SGLang联合举办的Meetup上做了一次分享，主题是如何用Agent优化SGLang。现在让大模型写个CUDA kernel不算稀奇，但做过性能优化的朋友都清楚，把代码写出来，只是
2026-09-24 20:31 · 摘要已收录，可打开文章获取原文内容
GPT-6 之后，Transformer 还有哪些值得研究的方向？
最近AI圈又被一个名字刷屏了：GPT-6，可以说各种大模型一直层出不穷。那现在还研究Transformer会不会太老了，都被研究完了？实则不然！就说GPT6也被曝出用了Loop Transformer
2026-09-17 12:00 · 摘要已收录，可打开文章获取原文内容
DTorch：重构 PyTorch 生态，迈向 GPU 集群操作系统
DTorch：重构 PyTorch 生态，迈向 GPU 集群操作系统作者：Pei Tingkuan原文：DTorch：重构 PyTorch 生态，迈向 GPU 集群操作系统（https://tingk
2026-09-16 11:43 · 摘要已收录，可打开文章获取原文内容
最懂科学的开源基础大模型『书生-S2』发布：科学能力比肩顶尖闭源，通用性能居开源第一梯队
9月13日，在2026浦江创新论坛（第十九届）人工智能赋能科学研究专题论坛上，上海人工智能实验室（上海AI实验室）发布书生多模态大模型 S2（以下简称“书生-S2”）。重点提升了长程科研能力与智能体能
2026-09-15 16:45 · 摘要已收录，可打开文章获取原文内容
SGLang 某些模型的 CUDA Graph 为什么会有上百条 decode cuda stream？
SGLang 某些模型的 CUDA Graph 为什么会有上百条 decode cuda stream？0x0 先看这张超难受的profiler图最近优化 DeepSeek-V4.1 Flash，打开
2026-09-14 23:09 · 摘要已收录，可打开文章获取原文内容
SGLang 的 DeepSeek-V4.1 Flash Day 0 优化实录：4×B300 上 BS=1 达到 764 tokens/s
SGLang 的 DeepSeek-V4.1 Flash Day 0 优化实录：4×B300 上 BS=1 达到 764 tokens/s0x0. 前言本文提到的 DeepSeek-V4.1 的 Da
2026-09-11 00:16 · 摘要已收录，可打开文章获取原文内容
GPT-6 Astra的瘫坐时刻
GPT-6 Astra的瘫坐时刻在体验GPT6 Astra时无法平静的时刻在此记录了下来，对我来说，似乎它真正触摸到了AGI。请看文后证据下面的回答是针对知乎的《怎么看 OpenAI 说GPT-6 开
2026-09-08 17:48 · 摘要已收录，可打开文章获取原文内容
基于Agent的SGLang Diffusion Kernel优化实践：Qwen-Image、FLUX.2和视频模型
0x0. 前言最近这段时间一直在使用Agent分析SGLang Diffusion的profile,也陆续往main分支合入了一批Kernel优化。在实际优化过程中经常会碰到一个问题: benchma
2026-09-02 22:12 · 摘要已收录，可打开文章获取原文内容