已收录文章摘要,完整内容可前往原文阅读。
一句“我并不喜欢这部电影”,如果字幕恰好漏掉了“不”,意思就会反过来。人还可以听语气、看表情。但如果声音也断了一截,画面又缺了几帧,AI还能判断这究竟是在夸奖,还是在抱怨吗?这正是不完整数据下的多模态