大模型位置编码(PE)演进万字详解:从 Sinusoidal 到 RoPE,再到百万上下文

AI for Research 2026年06月10日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

笔者最近在参与一个多模态项目的开发,需要处理图像和文本的混合输入。出于好奇,翻阅了 Qwen-VL 系列的实现源码,看到 MRoPE 把 head_dim 的频率对切成 T/H/W 三段分别旋转,觉得