摘要

大多数基于学习的方法的研究都集中在为特定任务设计和训练网络上。然而，许多跨模态的学习任务具有共性，可以通过一个联合框架来解决。本文提出了一种朝此方向发展的方法，即使用统一架构在多个模态中学习多个任务。所提出的网络由任务特定编码器、中间的共享主干以及任务特定预测头组成。我们首先通过自监督掩码训练进行预训练，然后依次对不同任务进行训练。我们在所有主要模态（如视觉、音频、文本和3D）上对该网络进行了训练，并在22个多样且具有挑战性的公开基准数据集上报告了实验结果。实验证明，使用跨模态的联合网络进行训练可以实现有意义的信息共享，从而使我们在大多数基准数据集上取得了最先进的结果。此外，我们还展示了该训练网络在跨模态任务以及未见过的数据集和任务上的泛化能力。