DeepSeek V4.1 全景:跨层共享 KV、mHC、Engram 查表、有界重放 | SGLang 技术解读
已收录文章摘要,完整内容可前往原文阅读。
本期「SGLang 技术解读」:DeepSeek V4.1 全景。三个反常识的设计:40 层里只有 4 层生成长距离 KV、其余层都在复用;模型带着两张共 189 GiB 的查表;prefill 时后
已收录文章摘要,完整内容可前往原文阅读。
本期「SGLang 技术解读」:DeepSeek V4.1 全景。三个反常识的设计:40 层里只有 4 层生成长距离 KV、其余层都在复用;模型带着两张共 189 GiB 的查表;prefill 时后