大模型长文本卡在“状态读写”:8比特量化把内核提速3.7倍

arXiv每日学术速递 2026年09月30日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

论文导读加州大学伯克利分校、华盛顿大学、麻省理工学院、英伟达等机构提出LeapQuant,专门压缩线性注意力反复读写的状态。它无需重新训练,在接近FP32精度时把相关内核平均加速2.05至3.70倍,