摘要

我们提出了一种增强知识的视觉-语言联合表示学习方法——ERNIE-ViL，该方法引入了从场景图（scene graphs）中获取的结构化知识，以学习视觉与语言模态之间的联合表征。ERNIE-ViL致力于建立视觉与语言之间细粒度的语义关联，包括物体、物体属性以及物体之间的关系，这些关联对于视觉-语言跨模态任务至关重要。在预训练阶段，ERNIE-ViL利用视觉场景的场景图，构建了场景图预测任务，具体包括物体预测（Object Prediction）、属性预测（Attribute Prediction）和关系预测（Relationship Prediction）三项任务。这些预测任务通过解析句子生成的场景图中不同类型的节点来实现，从而使ERNIE-ViL能够学习到刻画视觉与语言间细粒度语义对齐的联合表征。在大规模图像-文本对齐数据集上完成预训练后，我们在5个跨模态下游任务上验证了ERNIE-ViL的有效性。实验结果表明，ERNIE-ViL在所有任务上均达到当前最优性能，并在VCR（Visual Commonsense Reasoning）排行榜上取得第一名，相比此前最优模型实现了3.7%的绝对性能提升。