摘要

视觉问答本质上具有组合性——例如，“狗在哪里？”这样的问题与“狗是什么颜色？”和“猫在哪里？”等问题共享子结构。本文旨在同时利用深度网络的表示能力和问题的组合语言结构。我们描述了一种构建和学习神经模块网络的方法，该方法将一组联合训练的神经“模块”组合成用于回答问题的深度网络。我们的方法将问题分解为其语言子结构，并利用这些结构动态实例化模块化网络（包含可重复使用的识别狗、分类颜色等组件）。生成的复合网络是联合训练的。我们在两个具有挑战性的视觉问答数据集上评估了我们的方法，在VQA自然图像数据集和一个新的关于抽象形状的复杂问题数据集上均取得了最先进水平的结果。