摘要

我们提出了一种神经符号概念学习器（Neuro-Symbolic Concept Learner, NS-CL），该模型能够在没有显式监督的情况下学习视觉概念、词汇和句子的语义解析；相反，我们的模型通过简单地查看图像并阅读配对的问题和答案来学习。该模型构建了基于对象的场景表示，并将句子翻译成可执行的符号程序。为了连接这两个模块的学习，我们使用了一个神经符号推理模块，该模块在潜在的场景表示上执行这些程序。类似于人类的概念学习，感知模块根据被指代对象的语言描述来学习视觉概念。同时，所学的视觉概念有助于学习新词汇和解析新句子。我们使用课程学习方法来指导在图像和语言的大组合空间中的搜索。广泛的实验表明，我们的模型在学习视觉概念、词向量表示和句子语义解析方面具有高准确性和高效性。此外，我们的方法可以轻松推广到新的对象属性、组合、语言概念、场景和问题，甚至新的程序领域。它还支持包括视觉问答和双向图像-文本检索在内的多种应用。