登录
返回 青稞AI

从 Attention 到 Relation：深入理解 Token 到底应该怎么流动？

青稞AI 2026年09月04日 查看原文
登录后站内阅读

已收录文章摘要，完整内容可前往原文阅读。

Relation2效果很好，通过再次“掀桌子”：把FFN接口干掉。相同的小参量下，已经能压MHA接近9%的PPL了

查看完整文章
上一篇
下一篇