
摘要
使计算机能够理解文档并回答理解问题,是自然语言处理(NLP)的核心目标之一,但至今尚未解决。阻碍机器学习系统解决这一问题的关键因素之一是人类标注数据的有限可用性。Hermann等人(2015年)试图通过将CNN和《每日邮报》的新闻文章与其总结的要点配对,生成超过一百万个训练样本,来解决这一问题,并展示了神经网络可以通过这些数据训练以在该任务上取得良好表现。本文中,我们对该新的阅读理解任务进行了深入分析。我们的主要目的是了解要在此任务上取得优异成绩所需的语言理解深度。为此,我们从两个方面入手:一方面通过对一小部分问题进行细致的手动分析;另一方面展示简单的、精心设计的系统可以在这两个数据集上分别获得73.6%和76.6%的准确率,超出当前最先进结果7-10%,接近我们认为该任务性能的上限。
代码仓库
clarenceguan/rc-cnn-daily-pytorch
pytorch
GitHub 中提及
clarenceguan/rc-cnn-dailymail-pytorch
pytorch
GitHub 中提及
danqi/rc-cnn-dailymail
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| question-answering-on-cnn-daily-mail | Classifier | CNN: 67.9 Daily Mail: 68.3 |
| question-answering-on-cnn-daily-mail | Attentive + relabling + ensemble | CNN: 77.6 Daily Mail: 79.2 |
| question-answering-on-cnn-daily-mail | AttentiveReader + bilinear attention | CNN: 72.4 Daily Mail: 75.8 |