摘要

预训练表示在许多自然语言处理（NLP）和感知任务中变得越来越重要。虽然自然语言处理中的表示学习已经过渡到无需人工注释的原始文本训练，但视觉和视觉-语言表示仍然严重依赖于昂贵或需要专业知识的精心整理的训练数据集。对于视觉应用，表示主要通过使用带有显式类别标签的数据集（如ImageNet或OpenImages）进行学习。对于视觉-语言任务，流行的数据集如Conceptual Captions、MSCOCO或CLIP都涉及非 trivial 的数据收集（及清理）过程。这一高昂的数据整理过程限制了数据集的规模，从而阻碍了训练模型的扩展。本文中，我们利用了一个超过十亿张图像及其替代文本对的嘈杂数据集，该数据集是在Conceptual Captions数据集中未经过昂贵过滤或后处理步骤获得的。一个简单的双编码器架构通过对比损失函数学习对齐图像和文本对的视觉和语言表示。我们展示了我们的语料库规模可以弥补其噪声，并且即使采用如此简单的学习方案也能达到最先进的表示效果。我们的视觉表示在转移到分类任务（如ImageNet和VTAB）时表现出色。对齐后的视觉和语言表示不仅支持零样本图像分类，还在Flickr30K和MSCOCO图像-文本检索基准测试中取得了新的最先进结果，即使与更为复杂的交叉注意力模型相比也是如此。这些表示还支持使用复杂文本查询和文本+图像查询进行跨模态搜索。注释：- “non-trivial” 在这里翻译为“非 trivial”，以保留原术语的专业性。- “替代文本” 是指图片无法显示时用于描述图片内容的文字，通常称为“alt text”。