SGLang Custom AllReduce v1 与 v2 实现原理详解

已收录文章摘要，完整内容可前往原文阅读。

0x0. 前言TP 并行下每个 transformer 层至少有两次 all-reduce（attention o_proj 之后、MLP/MoE down_proj 之后），几十上百层的模型 dec