摘要
常识推理是自然语言理解的基础。传统方法主要依赖人工设计的特征和知识库，而我们探讨了通过无监督学习从大量原始文本中学习常识知识的方法。本文提出了两种基于深度结构语义模型（DSSM）框架的神经网络模型，以应对两个经典的常识推理任务：温格拉德模式挑战（Winograd Schema Challenge, WSC）和代词消歧（Pronoun Disambiguation Problem, PDP）。评估结果表明，所提出的模型能够有效捕捉句子中的上下文信息以及代词与名词之间的共指信息，并在这些任务上显著超越了先前的最先进方法。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| coreference-resolution-on-winograd-schema | UDSSM-I (ensemble) | Accuracy: 57.1 |
| coreference-resolution-on-winograd-schema | UDSSM-II (ensemble) | Accuracy: 62.4 |
| coreference-resolution-on-winograd-schema | UDSSM-I | Accuracy: 54.5 |
| coreference-resolution-on-winograd-schema | DSSM | Accuracy: 63.0 |
| coreference-resolution-on-winograd-schema | UDSSM-II | Accuracy: 59.2 |
| natural-language-understanding-on-pdp60 | UDSSM-II (ensemble) | Accuracy: 78.3 |
| natural-language-understanding-on-pdp60 | UDSSM-II | Accuracy: 75 |
| natural-language-understanding-on-pdp60 | DSSM | Accuracy: 75.0 |
| natural-language-understanding-on-pdp60 | UDSSM-I (ensemble) | Accuracy: 76.7 |