HyperAIHyperAI

Command Palette

Search for a command to run...

面向问题的多因素注意力网络用于问答

Souvik Kundu Hwee Tou Ng

摘要

最近提出的用于问答(QA)的神经网络模型主要集中在捕捉段落与问题之间的关系。然而,这些模型在连接分布在多个句子中的相关事实方面的能力有限,而这一点对于实现更深层次的理解至关重要,例如进行多句推理、共指消解等。此外,这些模型也没有明确关注问题类型和答案类型,而这些问题类型和答案类型往往在问答中起着关键作用。本文提出了一种新颖的端到端问题导向多因素注意力网络用于答案提取。基于张量变换的多因素注意力编码能够在相关事实位于多个句子时聚合有意义的信息。为了隐式推断答案类型,我们还提出了一种最大注意力问题聚合机制,根据问题中的重要词语来编码问题向量。在预测阶段,我们将第一个疑问词及其紧随其后的词语的序列级编码作为额外的问题类型信息来源加以整合。我们的模型在三个大规模且具有挑战性的问答数据集上取得了显著的改进,这三个数据集分别是NewsQA、TriviaQA和SearchQA。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向问题的多因素注意力网络用于问答 | 论文 | HyperAI超神经