4 个月前

对CNN/Daily Mail阅读理解任务的全面考察

对CNN/Daily Mail阅读理解任务的全面考察

摘要

使计算机能够理解文档并回答理解问题,是自然语言处理(NLP)的核心目标之一,但至今尚未解决。阻碍机器学习系统解决这一问题的关键因素之一是人类标注数据的有限可用性。Hermann等人(2015年)试图通过将CNN和《每日邮报》的新闻文章与其总结的要点配对,生成超过一百万个训练样本,来解决这一问题,并展示了神经网络可以通过这些数据训练以在该任务上取得良好表现。本文中,我们对该新的阅读理解任务进行了深入分析。我们的主要目的是了解要在此任务上取得优异成绩所需的语言理解深度。为此,我们从两个方面入手:一方面通过对一小部分问题进行细致的手动分析;另一方面展示简单的、精心设计的系统可以在这两个数据集上分别获得73.6%和76.6%的准确率,超出当前最先进结果7-10%,接近我们认为该任务性能的上限。

代码仓库

clarenceguan/rc-cnn-daily-pytorch
pytorch
GitHub 中提及
danqi/rc-cnn-dailymail
官方
GitHub 中提及

基准测试

基准方法指标
question-answering-on-cnn-daily-mailClassifier
CNN: 67.9
Daily Mail: 68.3
question-answering-on-cnn-daily-mailAttentive + relabling + ensemble
CNN: 77.6
Daily Mail: 79.2
question-answering-on-cnn-daily-mailAttentiveReader + bilinear attention
CNN: 72.4
Daily Mail: 75.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
对CNN/Daily Mail阅读理解任务的全面考察 | 论文 | HyperAI超神经