已收录文章摘要,完整内容可前往原文阅读。
视觉编码器是多模态大模型(MLLM)的核心组件之一。即使使用相同的大语言模型(LLM),不同的视觉编码器也可能带来显著不同的下游表现。要找到最合适的视觉编码器,最直接的方法是将候选编码器逐一接入 LL