摘要

我们提出了一种新型的多模态多任务网络及其配套的训练算法。该方法能够接收来自约12种不同模态的数据，包括图像、视频、音频、文本、深度图、点云、时间序列、表格数据、图结构数据、X射线、红外图像、惯性测量单元（IMU）以及高光谱数据。所提出的方法采用模态专用的分词器（tokenizers）、共享的Transformer架构以及跨模态注意力机制，将来自不同模态的数据映射到统一的嵌入空间中。通过为各模态中的不同任务配置特定的模态任务头（modality-specific task heads），该方法有效应对多模态与多任务的学习场景。我们进一步提出一种新颖的预训练策略——迭代式模态切换（iterative modality switching），用于网络初始化，并设计了一种训练算法，在对所有模态进行完全联合训练与每次仅针对模态对进行训练之间实现权衡。我们在来自12种模态的25个数据集上进行了全面评估，结果表明该方法在多项任务上达到当前最优性能，充分验证了所提出架构、预训练策略以及自适应多任务训练范式的有效性。