已收录文章摘要,完整内容可前往原文阅读。
全模态幻觉可能并不来自于证据编码的失败,而是融合表示中证据与先验的失衡。OWP 在解码之前,于模型内部重新平衡二者。全模态大模型(Omni LLM)把大语言模型的能力从文本扩展到语言、视觉和音频的联合