LLM Attention 演进:MLA 与权重吸收,KV Cache 还能怎么压

GiantPandaLLM 2026年10月22日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

点击上方蓝字关注我 导语这是「LLM Attention 演进」系列的第二篇。上一篇讲 MHA → MQA → GQA,靠削减 KV Head 压缩 KV Cache。本篇讲 MLA——不动 Hea