已收录文章摘要,完整内容可前往原文阅读。
一个长程 Agent 继续执行任务之前,往往要先读入已经积累的消息、代码、工具结果和日志。输入越来越长:缓存未命中的部分要做 prefill,命中的部分也要保存和搬运。计算、HBM、SSD 容量和带