登录
返回 大模型智能

从Attention到Relation：深入理解Token到底应该怎么流动？

大模型智能 2026年09月12日 查看原文
登录后站内阅读

已收录文章摘要，完整内容可前往原文阅读。

Relation2效果很好，通过再次“掀桌子”：把FFN接口干掉。相同的小参量下，已经能压MHA接近9%的PPL了

查看完整文章
上一篇
下一篇