已收录文章摘要，完整内容可前往原文阅读。
新智元报道 增强模型的表达能力，可以让Transformer更灵活地读取和整合信息。Attention Residuals（AttnResidual）沿着这个方向，将注意力从token之间的信息