摘要

有效性和可解释性是构建可信人工智能系统所必需的两个基本属性。近期大多数关于视觉推理的研究主要集中在提高预测答案的准确性上，而对决策背后的理由解释则关注较少。因此，这些研究通常利用虚假偏差而非真正基于视觉-文本数据进行推理，并且尚未开发出能够综合考虑两种模态的关键信息来解释其决策过程的能力。本文从三个不同的角度出发，旨在缩小这一差距：首先，我们定义了一种新的多模态解释类型，通过逐步遍历推理过程并在图像中定位关键词来解释决策。我们开发了一个功能程序，以顺序执行不同的推理步骤，并构建了一个包含1,040,830个多模态解释的新数据集。其次，我们认识到在解释决策时，紧密耦合视觉和文本模态中的重要组件具有关键需求，并提出了一种新颖的解释生成方法，该方法显式建模了单词与感兴趣区域之间的成对对应关系。这种方法显著提高了视觉定位能力，从而增强了可解释性和推理性能。最后，借助我们的新数据集和方法，我们在不同设置下进行了广泛的分析，包括多任务学习和迁移学习，以研究我们提出的解释的有效性。我们的代码和数据可在 https://github.com/szzexpoi/rex 获取。