4 个月前

基于注意力求和读取网络的文本理解

基于注意力求和读取网络的文本理解

摘要

最近,几种大型的完形填空式上下文-问题-答案数据集被引入,包括CNN和Daily Mail新闻数据以及儿童书籍测试(Children's Book Test)。由于这些数据集的规模庞大,相关的文本理解任务非常适合当前表现出色的深度学习技术,这些技术似乎优于所有其他替代方法。我们提出了一种新的、简单的模型,该模型利用注意力机制直接从上下文中挑选答案,而不是像类似模型通常所做的那样,通过计算文档中单词的混合表示来生成答案。这使得该模型特别适用于答案为文档中单个单词的问题回答任务。我们的模型组合在所有评估的数据集上均达到了新的最先进水平。

代码仓库

rkadlec/asreader
官方
GitHub 中提及
libertatis/mrc-cbt
tf
GitHub 中提及

基准测试

基准方法指标
open-domain-question-answering-on-searchqaASR
N-gram F1: 22.8
Unigram Acc: 41.3
question-answering-on-childrens-book-testAS reader (greedy)
Accuracy-CN: 67.5%
Accuracy-NE: 71%
question-answering-on-childrens-book-testAS reader (avg)
Accuracy-CN: 68.9%
Accuracy-NE: 70.6%
question-answering-on-cnn-daily-mailAS Reader (ensemble model)
CNN: 75.4
Daily Mail: 77.7
question-answering-on-cnn-daily-mailAS Reader (single model)
CNN: 69.5
Daily Mail: 73.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于注意力求和读取网络的文本理解 | 论文 | HyperAI超神经