已收录文章摘要，完整内容可前往原文阅读。
智猩猩AI整理编辑：BugMaker大语言模型（Large Language Model，LLM）推理有一本绕不开的账，KV 缓存（Key-Value Cache）。模型每生成一个 token，都要把