摘要

我们介绍了ImageBind，这是一种在六种不同模态之间学习联合嵌入的方法，包括图像、文本、音频、深度、热感和惯性测量单元（IMU）数据。研究表明，并非所有配对数据组合都是训练这种联合嵌入所必需的，仅使用图像配对的数据就足以将这些模态连接在一起。ImageBind可以利用最近的大规模视觉-语言模型，并通过它们与图像的自然配对将其零样本能力扩展到新的模态。它能够“开箱即用”地实现多种新颖的跨模态应用，包括跨模态检索、模态间的算术组合、跨模态检测和生成。这些新兴能力随着图像编码器性能的提升而增强，我们在跨模态的零样本识别任务中达到了新的最先进水平，超过了专门的监督模型。最后，我们展示了强大的少样本识别结果，优于以往的工作，并证明了ImageBind为评估视觉模型在视觉和非视觉任务中的表现提供了一种新方法。