已收录文章摘要,完整内容可前往原文阅读。
当前主流多模态大模型在架构上普遍面临一道“无形隔阂”:模型的“眼睛”依靠外部预训练视觉编码器(如 CLIP 或 SigLIP),负责抽取高度抽象的语义特征;而其“画笔”则交由变分自编码器(Variat