已收录文章摘要，完整内容可前往原文阅读。
大家好，我是刘聪NLP。前阵子，MiniMax的M3发布，对于我来说，最感兴趣的还是它的稀疏注意力结构MSA，我还在群里分享，不过当时只有一张图，只知道是GQA上的改进，增加了Index Branch