4 个月前

机器理解的双向注意力流

机器理解的双向注意力流

摘要

机器理解(MC)是指针对给定的上下文段落回答问题,这需要对上下文和问题之间的复杂交互进行建模。近年来,注意力机制已成功应用于机器理解领域。通常这些方法利用注意力机制集中关注上下文的一小部分,并用固定大小的向量对其进行总结,同时在时间上耦合注意力,或者经常形成单向注意力。本文中,我们介绍了一种双向注意流(Bi-Directional Attention Flow, BIDAF)网络,这是一种多阶段层次化过程,能够在不同粒度级别表示上下文,并通过双向注意流机制获得查询感知的上下文表示,而无需过早总结。我们的实验评估表明,该模型在斯坦福问答数据集(SQuAD)和CNN/DailyMail完形填空测试中取得了最先进的结果。

代码仓库

white127/squad-2.0-bidaf
tf
GitHub 中提及
shmsw25/qa-transfer
tf
GitHub 中提及
minstar/BIDAF
tf
GitHub 中提及
allenai/bi-att-flow
官方
tf
GitHub 中提及
rajatgermany/qa-nlp
pytorch
GitHub 中提及
GauthierDmn/question_answering
pytorch
GitHub 中提及
WarruzuEndo/BiDAF_mindspore
mindspore
GitHub 中提及
xiaobaicxy/Bidaf_SQuAD_MC_Pytorch
pytorch
GitHub 中提及
surekhamedapati/NLPA_NEO
pytorch
GitHub 中提及
galsang/BiDAF-pytorch
pytorch
GitHub 中提及
baidu/DuReader
tf
GitHub 中提及
davidgolub/QuestionGeneration
pytorch
GitHub 中提及
suryaiyer/squad-bidaf
pytorch
GitHub 中提及
kokikwbt/deepsect
GitHub 中提及
tikyau/bidaf-quick-test
tf
GitHub 中提及
lmn-extracts/dcn_plus
tf
GitHub 中提及
dsouzadaniel/BiDAF
pytorch
GitHub 中提及
ghus75/Question_Answering
tf
GitHub 中提及

基准测试

基准方法指标
open-domain-question-answering-on-quasarBiDAF
EM (Quasar-T): 25.9
F1 (Quasar-T): 28.5
question-answering-on-cnn-daily-mailBiDAF
CNN: 76.9
Daily Mail: 79.6
question-answering-on-ms-marcoBiDaF Baseline
BLEU-1: 10.64
Rouge-L: 23.96
question-answering-on-narrativeqaBiDAF
BLEU-1: 33.45
BLEU-4: 15.69
METEOR: 15.68
Rouge-L: 36.74
question-answering-on-squad11BiDAF (single model)
EM: 67.974
F1: 77.323
question-answering-on-squad11BiDAF (ensemble)
EM: 73.744
F1: 81.525
question-answering-on-squad11-devBIDAF (single)
EM: 67.7
F1: 77.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
机器理解的双向注意力流 | 论文 | HyperAI超神经