摘要

本文提出了一种用于常识推理的混合神经网络（Hybrid Neural Network, HNN）模型。HNN由两个组件模型组成，即掩码语言模型和语义相似度模型，这两个模型共享一个基于BERT的上下文编码器，但使用不同的模型特定输入和输出层。HNN在三个经典的常识推理任务上取得了新的最先进结果，将WNLI基准提升至89%，Winograd模式挑战（WSC）基准提升至75.1%，以及PDP60基准提升至90.0%。消融研究表明，语言模型和语义相似度模型是互补的常识推理方法，而HNN有效地结合了两者的优点。代码和预训练模型将在https://github.com/namisan/mt-dnn 公开发布。