EverMind 论文精读｜MSA: Memory Sparse Attention，端到端可训练的可扩展稀疏注意力机制，让 4B 模型吞下 1 亿 Token 上下文
已收录文章摘要，完整内容可前往原文阅读。
长期记忆，一直是大语言模型的阿喀琉斯之踵。当前主流 LLM 的有效上下文窗口大多停留在 128K 到 1M token 的量级，而认知科学研究估算，人类一生的功能性记忆容量大约在 2 亿到 3 亿 t
已收录文章摘要，完整内容可前往原文阅读。
长期记忆，一直是大语言模型的阿喀琉斯之踵。当前主流 LLM 的有效上下文窗口大多停留在 128K 到 1M token 的量级，而认知科学研究估算，人类一生的功能性记忆容量大约在 2 亿到 3 亿 t