
摘要
最近,几种大型的完形填空式上下文-问题-答案数据集被引入,包括CNN和Daily Mail新闻数据以及儿童书籍测试(Children's Book Test)。由于这些数据集的规模庞大,相关的文本理解任务非常适合当前表现出色的深度学习技术,这些技术似乎优于所有其他替代方法。我们提出了一种新的、简单的模型,该模型利用注意力机制直接从上下文中挑选答案,而不是像类似模型通常所做的那样,通过计算文档中单词的混合表示来生成答案。这使得该模型特别适用于答案为文档中单个单词的问题回答任务。我们的模型组合在所有评估的数据集上均达到了新的最先进水平。
代码仓库
rkadlec/asreader
官方
GitHub 中提及
libertatis/mrc-cbt
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-domain-question-answering-on-searchqa | ASR | N-gram F1: 22.8 Unigram Acc: 41.3 |
| question-answering-on-childrens-book-test | AS reader (greedy) | Accuracy-CN: 67.5% Accuracy-NE: 71% |
| question-answering-on-childrens-book-test | AS reader (avg) | Accuracy-CN: 68.9% Accuracy-NE: 70.6% |
| question-answering-on-cnn-daily-mail | AS Reader (ensemble model) | CNN: 75.4 Daily Mail: 77.7 |
| question-answering-on-cnn-daily-mail | AS Reader (single model) | CNN: 69.5 Daily Mail: 73.9 |