显存放不下的 MoE 大模型,消费级显卡怎么跑?SGLang Paged Experts 技术解读

GiantPandaLLM 2026年11月05日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

SGLang 的 Paged Experts 让消费级显卡也能在本地跑显存放不下的 MoE 大模型:每层显存只放 K 个常用专家,全部专家放在锁页内存里,缺哪个搬哪个,计算一直在 GPU 上。视频用一