摘要

在这项工作中，我们追求一种统一的多模态预训练范式，以打破复杂任务/模态特定定制的框架。我们提出了OFA，这是一种任务无关和模态无关的框架，支持任务全面性。OFA在一个简单的序列到序列学习框架中统一了多种跨模态和单模态任务，包括图像生成、视觉定位、图像描述、图像分类、语言建模等。在预训练和微调阶段，OFA均采用基于指令的学习方法，无需为下游任务添加额外的任务特定层。与依赖于极其大规模跨模态数据集的最新视觉与语言模型相比，OFA仅在2000万公开可用的图像-文本对上进行预训练。尽管其简单且训练数据规模相对较小，OFA在一系列跨模态任务中取得了新的最先进水平（SOTA），同时在单模态任务上也达到了极具竞争力的表现。我们的进一步分析表明，OFA还能有效迁移到未见过的任务和未见过的领域。我们的代码和模型已公开发布于https://github.com/OFA-Sys/OFA。