已收录文章摘要，完整内容可前往原文阅读。
我们所处的世界，本身就是多模态的。一辆车从街口驶过，它同时产生图像、声音、深度、热辐射和振动。这些观测的形式天差地别，但它们描述的是同一个物体——只是各自切下了它的一个侧面。于是一个非常自然的问题浮上