已收录文章摘要，完整内容可前往原文阅读。
核心观点：现有稀疏注意力方法多在“序列维度”压缩，容易丢失关键信息。ProxyAttn 另辟蹊径，利用长文本下注意力头表现趋同的特性，在“Head维度”进行压缩。通过一个“代理头（Proxy Head