4 个月前

用于问答的动态共注意力网络

用于问答的动态共注意力网络

摘要

已提出多种深度学习模型用于问答任务。然而,由于这些模型的单次处理特性,它们无法从对应于错误答案的局部最大值中恢复。为了解决这一问题,我们引入了动态协同注意网络(Dynamic Coattention Network, DCN)用于问答任务。DCN首先融合问题和文档的相互依赖表示,以便关注两者中的相关部分。然后,一个动态指针解码器会遍历潜在的答案区间。这一迭代过程使得模型能够从初始的对应于错误答案的局部最大值中恢复。在斯坦福问答数据集上,单一的DCN模型将先前的最佳F1分数从71.0%提升至75.9%,而DCN集成模型则达到了80.4%的F1分数。

代码仓库

BAJUKA/SQuAD-NLP
tf
GitHub 中提及
wasimusu/MachineRC
pytorch
GitHub 中提及
lmn-extracts/dcn_plus
tf
GitHub 中提及
Lou1sM/AML-Project
tf
GitHub 中提及

基准测试

基准方法指标
open-domain-question-answering-on-squad11DCN
EM: 66.2
question-answering-on-squad11Dynamic Coattention Networks (ensemble)
EM: 71.625
F1: 80.383
question-answering-on-squad11Dynamic Coattention Networks (single model)
EM: 66.233
F1: 75.896
question-answering-on-squad11-devDCN
EM: 65.4
F1: 75.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于问答的动态共注意力网络 | 论文 | HyperAI超神经