摘要

我们提出了一种简单且灵活的框架——VisualBERT，用于建模广泛的视觉与语言任务。VisualBERT由多层Transformer组成，通过自注意力机制隐式地对齐输入文本中的元素和相关输入图像中的区域。此外，我们还提出了两个基于视觉的预训练语言模型目标，以利用图像字幕数据对VisualBERT进行预训练。在包括VQA（视觉问答）、VCR（视觉常识推理）、NLVR2（自然语言推理）和Flickr30K在内的四个视觉与语言任务上的实验表明，VisualBERT不仅显著简化了模型结构，而且在性能上超过了或与现有最先进模型相当。进一步分析显示，VisualBERT能够在没有任何显式监督的情况下将语言元素与图像区域对齐，并且对句法关系敏感，例如能够追踪动词与其论元对应的图像区域之间的关联。