Meta 最新6 模态大模型，让 AI 以更接近人类的方式理解这个世界。

比如当你听见倒水声的时候就会想到杯子，听到闹铃声会想到闹钟，现在 AI 也可以。

尽管画面中没有出现人类，AI 听到掌声也能指出最有可能来自电脑。

(资料图)

比如听到狗叫画出一只狗，同时给出对应的深度图和文字描述。

甚至做到不同模态之间的运算，如鸟的图像 + 海浪的声音，得到鸟在海边的图像。

也就是离 Meta 心心念念的元宇宙又近了一步。

网友看到后也表示，又是一个掉下巴的进展。

并不是让 AI 听到声音后先生成文字的提示词，而是 Meta 自己复现了一个 DALL · E 2，并把其中的文本嵌入直接替换成了音频嵌入。

其中比较有意思的是，床上没有人，但 AI 也认为打呼噜声应该来自床。

如视频天然就把画面与声音做了配对，网络中也可以收集到天然把图像和文字配对的内容等。

而以图像 / 视频为中心训练好 AI 后，对于原始数据中没有直接联系的模态，比如语音和热量，ImageBind 表现出涌现能力，把他们自发联系起来。

在定量测试中，统一多模态的 ImageBind 在音频和深度信息理解上也超越了对应的专用模型。

比如人类在书本中读到对动物的描述，之后就能在生活中认出这种动物，或看到一张不熟悉的汽车照片就能预测起发动机的声音。

过去 AI 没有掌握这个技能，一大障碍就是要把所有可能的模态两两组合做数据配对难以实现。

现在有了多模态联合学习的方法，就能规避这个问题。

团队表示未来还将加入触觉、语音、嗅觉和大脑 fMRI，进一步探索多模态大模型的可能性

对于目前版本，Meta 也放出了一个简单的在线 Demo，感兴趣的话可以去试试。

https://imagebind.metademolab.com/demo

GitHub：

https://github.com/facebookresearch/ImageBind

论文：

https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf

参考链接：

[ 1 ] https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/