摘要

本文提出了一种面向跨模态理解与生成的全感知预训练模型（Omni-perception Pre-Trainer, OPT），通过联合建模视觉、文本与音频资源实现多模态信息融合。OPT采用编码器-解码器框架，包含三个单模态编码器，用于为每种模态生成基于标记（token）的嵌入表示；一个跨模态编码器，用于捕捉三种模态之间的关联关系；以及两个跨模态解码器，分别用于生成文本和图像。在OPT的预训练阶段，我们设计了一种多任务前置学习（pretext learning）策略，从三个不同的数据粒度——即标记级、模态级和样本级——建模多模态资源，从而使OPT能够学习不同模态间的对齐与转换能力。预训练在来自Open Images的大规模图像-文本-音频三元组数据集上进行。实验结果表明，OPT能够学习到强大的图像-文本-音频多模态表示，并在多种跨模态理解与生成任务中取得优异性能。