已收录文章摘要,完整内容可前往原文阅读。
Block Distillation团队 投稿量子位 | 公众号QbitAI长上下文大模型的成本,很大一块烧在“全注意力”上。KV状态与上下文绑定,同样的内容换了个前缀,就得从头重算——在RAG这类“