摘要

最近引入的BERT模型在多个语言理解基准测试中表现出色。本文描述了BERT在常识推理方面的简化重新实现。我们展示了BERT生成的注意力可以直接用于代词消歧问题和温格拉德模式挑战（Winograd Schema Challenge）等任务。我们提出的基于注意力的常识推理方法概念上简单但实证上强大。在多个数据集上的实验分析表明，我们的系统在所有情况下表现优异，且显著超越了之前报告的最佳水平。尽管结果表明BERT似乎隐式地学会了建立实体之间的复杂关系，但解决常识推理任务可能需要超出从大规模文本语料库中学习到的无监督模型的能力。