摘要

近期的视觉-语言模型展现出令人瞩目的多模态生成能力。然而，这类模型通常需要在海量数据上训练庞大的参数量模型。作为一种更具可扩展性的替代方案，我们提出了Prismer——一种数据与参数高效的视觉-语言模型，其核心思想是采用任务特定专家的集成架构。Prismer仅需训练少量组件，模型的大部分网络权重直接继承自多个现成可用的预训练专家模型，并在训练过程中保持冻结状态。通过整合来自多种领域的专家知识，我们证明Prismer能够高效汇聚并适配这些专业知识，以应对多样化的视觉-语言推理任务。实验结果表明，Prismer在微调和少样本学习场景下的性能可与当前最先进的模型相媲美，同时所需训练数据量最多可减少两个数量级。代码已开源，地址为：https://github.com/NVlabs/prismer。