摘要

常识推理一直是深度学习面临的长期挑战。例如，使用神经网络处理温格拉德模式数据集（Winograd Schema dataset）（Levesque等人，2011年）非常困难。在本文中，我们提出了一种利用无监督学习进行常识推理的简单方法。该方法的核心在于使用在大量未标注数据上训练的语言模型来对常识推理测试中的多项选择题进行评分。在代词消歧和温格拉德模式挑战中，我们的模型大幅超越了以往的最先进方法，而无需使用昂贵的注释知识库或人工设计的特征。我们在LM-1Billion、CommonCrawl、SQuAD、古腾堡书籍和为本任务定制的语料库上训练了一系列大型递归神经网络（RNN）语言模型，这些模型在词级或字符级上运行，并展示了训练数据多样性对测试性能的重要作用。进一步分析表明，我们的系统成功发现了决定正确答案的关键上下文特征，这表明它对常识知识有很好的掌握。