已收录文章摘要，完整内容可前往原文阅读。
随着大语言模型（LLM）上下文长度不断增加，推理阶段的内存占用和能源消耗正逐渐成为实际部署中的关键瓶颈。标准全注意力机制会为每个新 token 保留此前所有 token 的 Key 和 Value，K