混合架构用线性注意力还是滑窗注意力?复旦创智OpenMOSS团队:我全都要

机器之心 2026年11月01日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

本文第一作者柳潇然,复旦大学、上海创智学院 2022 级硕博连读生,导师邱锡鹏、何子薇。研究方向为长上下文大语言模型,曾在 ICLR、ICML、AAAI、EMNLP 等国际顶级人工智能会议发表论文十余