已收录文章摘要,完整内容可前往原文阅读。
笔者最近在参与一个多模态项目的开发,需要处理图像和文本的混合输入。出于好奇,翻阅了 Qwen-VL 系列的实现源码,看到 MRoPE 把 head_dim 的频率对切成 T/H/W 三段分别旋转,觉得