已收录文章摘要，完整内容可前往原文阅读。
北京大学与百度团队提出的 Virtual Head Attention（VHA），训练后可以折叠成标准的 16Q/2KV GQA。在论文的 1.7B 匹配实验中，它与直接训练的 GQA 采用相同的推理