摘要

我们提出了VILLA，这是首个针对视觉-语言（Vision-and-Language, V+L）表示学习的大规模对抗训练方法。VILLA包含两个训练阶段：（i）任务无关的对抗预训练；随后是（ii）任务特定的对抗微调。与以往在图像像素和文本标记上添加对抗扰动的方法不同，我们提出在每一模态的嵌入空间（embedding space）中进行对抗训练。为支持大规模训练，我们采用“免费”（free）对抗训练策略，并结合基于KL散度的正则化方法，以增强嵌入空间中的不变性。我们将VILLA应用于当前表现最佳的V+L模型，在多项任务上取得了新的最先进（SOTA）性能，涵盖视觉问答（Visual Question Answering）、视觉常识推理（Visual Commonsense Reasoning）、图像-文本检索（Image-Text Retrieval）、指代表达理解（Referring Expression Comprehension）、视觉蕴含（Visual Entailment）以及NLVR2等任务。