已收录文章摘要,完整内容可前往原文阅读。
SGLang 的 Paged Experts 让消费级显卡也能在本地跑显存放不下的 MoE 大模型:每层显存只放 K 个常用专家,全部专家放在锁页内存里,缺哪个搬哪个,计算一直在 GPU 上。视频用一