已收录文章摘要,完整内容可前往原文阅读。
在长上下文 Agent 越来越普及的今天,模型的工作负载正变得越来越 "输入重"(input-heavy):动辄几十万 token 的上下文要 prefill,海量的 KV Cache 要存进 HB