HyperAIHyperAI

Command Palette

Search for a command to run...

注意力叠加神经网络在阅读理解中的应用

Yiming Cui†, Zhipeng Chen†, Si Wei†, Shijin Wang†, Ting Liu‡ and Guoping Hu†

摘要

完形填空式问题在阅读理解中具有代表性。在过去几个月里,我们见证了利用神经网络方法解决完形填空式问题的显著进展。本文提出了一种新颖的模型,称为“注意力叠加注意力”阅读器(attention-over-attention reader),用于完形填空式的阅读理解任务。该模型旨在在文档级注意力机制之上再放置一个注意力机制,并通过“加权注意力”(attended attention)进行最终预测。与以往的研究不同,我们的神经网络模型需要较少的预定义超参数,并采用了更为优雅的架构进行建模。实验结果表明,在公共数据集(如CNN和儿童书籍测试数据集)中,所提出的注意力叠加注意力模型显著优于各种最先进的系统,且优势明显。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
注意力叠加神经网络在阅读理解中的应用 | 论文 | HyperAI超神经