摘要

我们介绍了一种新的可预训练的视觉-语言通用表示方法，称为视觉-语言BERT（简称VL-BERT）。VL-BERT采用了简单而强大的Transformer模型作为骨干，并将其扩展为可以同时接受视觉和语言嵌入特征作为输入。在该模型中，输入的每个元素要么是来自输入句子的一个单词，要么是来自输入图像的一个感兴趣区域（Region of Interest, RoI）。该模型旨在适用于大多数视觉-语言下游任务。为了更好地利用这种通用表示，我们在大规模的概念标题数据集上对VL-BERT进行了预训练，并结合了纯文本语料库。广泛的实证分析表明，预训练过程可以更好地对齐视觉和语言线索，并有助于下游任务，如视觉常识推理、视觉问答和指代表达理解。值得一提的是，VL-BERT在VCR基准测试的排行榜上以单模型获得了第一名。代码已发布在\url{https://github.com/jackroos/VL-BERT}。