显存不够、内存太贵,KV Cache 越堆越大:华为给出自己的新解法

AI前线 2026年10月11日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

作者 | 褚杏娟过去被当作“临时缓存”的 KV Cache,开始成为需要被长期保存、调度和复用的重要数据资产。模型上下文越来越长,Agent 任务持续时间越来越久,AI Coding 等场景甚至需要跨