MiniMax-H3 在 8×H200 上：无损加速 1.95 倍，在 0.76–0.91 SSIM 下最高加速 6.24 倍
MiniMax-H3 在 8×H200 上：无损加速 1.95 倍，在 0.76–0.91 SSIM 下最高加速 6.24 倍SGLang 仓库地址： https://github.com/sgl-p
2026-08-28 14:06 · 摘要已收录，可打开文章获取原文内容
Qwen3.8-Flash-Next：SGLang Day-0 支持
Qwen3.8-Flash-Next：SGLang Day-0 支持SGLang 仓库地址： https://github.com/sgl-project/sglang原文地址（https://www
2026-08-27 00:00 · 摘要已收录，可打开文章获取原文内容
Qwen3.8-Flash-Next：SGLang Day-0 支持
Qwen3.8-Flash-Next：SGLang Day-0 支持“SGLang 仓库地址 https://github.com/sgl-project/sglang原文地址（https://www
2026-08-26 21:54 · 摘要已收录，可打开文章获取原文内容
Kernel Design Agent(KDA) 的B200 GPU Kernel 编程准则 Skill
来自 https://github.com/mit-han-lab/ncu-report-skill 仓库，也就是https://github.com/mit-han-lab/kernel-desig
2026-08-24 21:18 · 摘要已收录，可打开文章获取原文内容
一线AI工程师都在看的大模型推理工程实战（文末送三本书）
👆点击“博文视点Broadview”，获取更多书讯做过大模型生产部署的人，大概率都踩过这些一模一样的坑：实验室里 demo 跑得顺风顺水，一上线稍微加并发，延迟直接翻倍、GPU 利用率常年卡在 30%
2026-08-21 14:17 · 摘要已收录，可打开文章获取原文内容
重新审视 CPU 资源作为语音模型 Serving 过程的一等公民
重新审视 CPU 资源作为语音模型 Serving 过程的一等公民从 2023 年 SGLang 项目启动开始，我们一直对于 long context inference 有非常大的投入。最初的时候，
2026-08-20 12:06 · 摘要已收录，可打开文章获取原文内容
狂揽顶会！大模型下一个爆点找到了
做大模型，不同资源条件的实验室，难度完全不一样。所以在选方向之前，先别问哪个最火，先问问自己有什么：多少卡、什么数据、三个月能不能跑出第一组结果。了解情况后，就要看方向跟资源的匹配度了，那每天都有大量
2026-08-19 12:00 · 摘要已收录，可打开文章获取原文内容
SGLang 中的 CUDA Graph 进阶指南
SGLang 中的 CUDA Graph 进阶指南作者：SGLang TeamTL;DRCUDA Graph 的目标是消除 kernel launch 开销，但要在真实的推理引擎中尽可能接近这一理想收
2026-08-18 10:28 · 摘要已收录，可打开文章获取原文内容
基于 Agent 在 SGLang Diffusion 中让 Torch Compile 完全退役，细数 Torch Compile 七宗罪
0x0. 核心论点Diffusion 领域苦 Torch Compile 久矣。从 Diffusion 模型发明以来似乎 Torch Compile 一直在各个 Diffusion 模型中进行加速，P
2026-08-10 18:15 · 摘要已收录，可打开文章获取原文内容
生产环境实测 TPOT 狂降 48.8%！腾讯混元三大算子进了 SGLang 主分支
腾讯把自己生产环境里跑着的算子库，搬进了 SGLang 的主分支。01发生了什么8 月 7 日，LMSYS Org 发布技术博客：腾讯混元开源的算子库 HPC-Ops，三个核心算子（Attention
2026-08-08 19:26 · 摘要已收录，可打开文章获取原文内容
SGLang Custom AllReduce v1 线程模型和工作原理细节
GPT5.6Sol + Claude Fable + 人工共同创作SGLang Custom AllReduce v1 线程模型和工作原理细节上一篇《SGLang Custom AllReduce v
2026-08-07 17:37 · 摘要已收录，可打开文章获取原文内容
PDL 在 SGLang Kimi K3 中的应用
PDL 在 SGLang Kimi K3 中的应用Kimi K3 是一个 2.8T 参数的混合注意力模型。decode 一个 token 需要经过 93 个注意力层（69 层 KDA + 24 层 M
2026-08-05 12:19 · 摘要已收录，可打开文章获取原文内容
【博客翻译·译述】让归一化接近“免费”：把 Norm 融合进 GEMM 与 Attention Kernel
Towards Free Normalization原文：Towards Free Normalization: Fusing Normalization into GEMM and Attentio
2026-08-01 21:31 · 摘要已收录，可打开文章获取原文内容
SGLang 和 Miles 为 Kimi K3 提供 Day-0 支持
原文地址（https://www.lmsys.org/blog/2026-07-27-kimi-k3-day0-support） 翻译于2026年7月28日10:00，后续更新请见原文SGLang g
2026-07-28 14:47 · 摘要已收录，可打开文章获取原文内容
SGLang Custom AllReduce v1 与 v2 实现原理详解
0x0. 前言TP 并行下每个 transformer 层至少有两次 all-reduce（attention o_proj 之后、MLP/MoE down_proj 之后），几十上百层的模型 dec
2026-07-27 22:23 · 摘要已收录，可打开文章获取原文内容
【博客翻译·译述】Triton 插件扩展：开箱即用的 TLX 与自定义编译器 Pass
Triton Plugin Extensions原文：Triton Plugin Extensions: Enabling TLX and Custom Compiler Passes Out of
2026-07-24 20:58 · 摘要已收录，可打开文章获取原文内容
AI Agent 驱动的 SGLang Kernel 一等公民化：sglang.kernels 的设计与实践
0x0. TL;DRSGLang 的 GPU kernel 原来分散在 jit_kernel、sgl-kernel、各子系统的 triton_ops 和具体模型文件中。sglang.kernels 将
2026-07-23 21:27 · 摘要已收录，可打开文章获取原文内容
HPC-Ops gemm_bf16xfp32 Kernel笔记：FP32权重拆两个BF16跑Tensor Core
0x0. 前言最近看了一下腾讯 HPC-Ops 里的 gemm_bf16xfp32 kernel。它计算的是 BF16 激活乘 FP32 权重，源码在这里：https://github.com/Ten
2026-07-20 21:58 · 摘要已收录，可打开文章获取原文内容
CUTLASS 笔记下半部分（转载）
知乎 https://www.zhihu.com/column/c_1938664963049763058 专栏笔记转载，已获作者授权CUTLASS 笔记 (7)：Swizzling本篇主要介绍 SM
2026-07-16 18:59 · 摘要已收录，可打开文章获取原文内容
CUTLASS 笔记上半部分（转载）
知乎 https://www.zhihu.com/column/c_1938664963049763058 专栏笔记转载，已获作者授权CUTLASS 笔记：导读本 CUTLASS 笔记系列将从一个最小
2026-07-13 21:17 · 摘要已收录，可打开文章获取原文内容
SGLang 中的 DSpark：置信度驱动、可变长度验证的推测解码
本文翻译自 LMSYS Blog，原文 slug：2026-07-06-dspark-sglang。GitHub 原文在 lm-sys/lm-sys.github.io 仓库，路径为 blog/202
2026-07-09 22:27 · 摘要已收录，可打开文章获取原文内容
使用 Agent 助力 SGLang 开发的初步探索
使用 Agent 助力 SGLang 开发的初步探索日期：2026-07-02Agent-assisted SGLang developmentSGLang 开发越来越不像一次孤立的代码修改。一个仓库
2026-07-03 23:40 · 摘要已收录，可打开文章获取原文内容
Serving DeepSeek-V4 on GB300 with SGLang：Day-0 以来同等交互性下吞吐提升 5 倍
Serving DeepSeek-V4 on GB300 with SGLang原文：Serving DeepSeek-V4 on GB300 with SGLang: 5x Higher Throu
2026-06-29 14:22 · 摘要已收录，可打开文章获取原文内容
SGLang 贴近硬件：用编译产物（PTX/SASS）评审 PR #26588、DeepGEMM 与架构迁移
原文：SGLang Close to the Metal 原文地址：https://gestell.ai/article/sglang-compiled-output-review 作者：Gestel
2026-06-26 16:31 · 摘要已收录，可打开文章获取原文内容
【博客翻译·译述】PyTorch Flight Recorder：理解 NCCL Watchdog Timeout 的新视角
原文：Flight Recorder: A New Lens for Understanding NCCL Watchdog Timeouts 原文地址：https://pytorch.org/blo
2026-06-22 19:09 · 摘要已收录，可打开文章获取原文内容
Codex goal 代码解读：原生长任务目标的实现，以及它和 Humanize 1.0区别的一点理解
写在前面：本文对 Codex /goal 的源码（rust）阅读和分析由 Claude Opus 4.8 完成。我做的事情是给它指阅读方向、询问我感兴趣的细节（状态怎么存、续跑怎么触发、完成怎么判定、
2026-06-20 14:15 · 摘要已收录，可打开文章获取原文内容
分享下 KDA 优化SGLang Diffusion Kernel 需要注意的一些坑和prompt实践
0x0. 背景本文记录最近使用 KDA（https://github.com/mit-han-lab/kernel-design-agents） 优化 SGLang Diffusion Kernel
2026-06-07 16:13 · 摘要已收录，可打开文章获取原文内容
Boson AI × SGLang 正式发布 Higgs Audio v3 TTS：面向语音智能体的实时可控语音合成
Boson AI × SGLang 正式发布 Higgs Audio v3 TTS：面向语音智能体的实时可控语音合成Boson AI & SGLang-Omni 团队SGLang-Omni 团队SGL
2026-06-05 01:00 · 摘要已收录，可打开文章获取原文内容
Agentic时代的技术地图：AICon2026上海站全日程正式发布
当 AI 不再只是工具，组织本身开始被重塑。过去一年，"Agent"这个词从实验室走进了生产环境。工程师们开始真正面对一个新的问题：不是"AI 能不能做到"，而是"我们能不能把它跑稳、跑对、跑出规模"
2026-06-03 12:00 · 摘要已收录，可打开文章获取原文内容
AI-Infra-Auto-Driven-SKILLS v0.1.0：给 Codex / Claude Code 的推理框架工作流
AI-Infra-Auto-Driven-SKILLS v0.1.0工程地址：https://github.com/BBuf/AI-Infra-Auto-Driven-SKILLS，欢迎 star 和
2026-05-26 22:55 · 摘要已收录，可打开文章获取原文内容