4 个月前

面向问题的多因素注意力网络用于问答

面向问题的多因素注意力网络用于问答

摘要

最近提出的用于问答(QA)的神经网络模型主要集中在捕捉段落与问题之间的关系。然而,这些模型在连接分布在多个句子中的相关事实方面的能力有限,而这一点对于实现更深层次的理解至关重要,例如进行多句推理、共指消解等。此外,这些模型也没有明确关注问题类型和答案类型,而这些问题类型和答案类型往往在问答中起着关键作用。本文提出了一种新颖的端到端问题导向多因素注意力网络用于答案提取。基于张量变换的多因素注意力编码能够在相关事实位于多个句子时聚合有意义的信息。为了隐式推断答案类型,我们还提出了一种最大注意力问题聚合机制,根据问题中的重要词语来编码问题向量。在预测阶段,我们将第一个疑问词及其紧随其后的词语的序列级编码作为额外的问题类型信息来源加以整合。我们的模型在三个大规模且具有挑战性的问答数据集上取得了显著的改进,这三个数据集分别是NewsQA、TriviaQA和SearchQA。

代码仓库

nusnlp/amanda
官方
GitHub 中提及

基准测试

基准方法指标
open-domain-question-answering-on-searchqaAMANDA
EM: -
F1: -
N-gram F1: 56.6
Unigram Acc: 46.8
question-answering-on-newsqaAMANDA
EM: 48.4
F1: 63.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向问题的多因素注意力网络用于问答 | 论文 | HyperAI超神经