摘要

我们的目标是将广泛应用于复杂视觉推理任务的黑盒神经架构拆解为所提出的可解释和显式神经模块（XNMs），这些模块在现有的神经模块网络基础上进一步发展，通过使用场景图——其中对象作为节点，两两关系作为边——来进行具有结构化知识的可解释和显式推理。XNMs使我们能够更加关注教授机器如何“思考”，而不仅仅是它们如何“观察”。正如我们在论文中展示的那样，通过将场景图作为一种归纳偏置，1）我们可以以简洁且灵活的方式设计XNMs，即XNMs仅由4种元类型组成，这显著减少了参数数量，减少幅度达到10到100倍；2）我们可以通过图注意力显式地追踪推理流程。XNMs具有很高的通用性，支持各种质量的场景图实现。例如，当图形被完美检测时，XNMs在CLEVR和CLEVR CoGenT数据集上均达到了100%的准确率，为视觉推理建立了经验性能上限；当图形从真实世界图像中噪声检测时，XNMs仍然表现出较强的鲁棒性，在VQAv2.0数据集上实现了具有竞争力的67.5%准确率，超过了没有图结构的流行对象包注意力模型。