4 个月前

阅读维基百科以回答开放领域问题

阅读维基百科以回答开放领域问题

摘要

本文提出了一种利用维基百科作为唯一知识源来解决开放域问答问题的方法:任何事实性问题的答案都是维基百科文章中的一个文本片段。这项大规模机器阅读任务结合了文档检索(找到相关文章)和文本机器理解(从这些文章中识别答案片段)的挑战。我们的方法将基于双元哈希和TF-IDF匹配的搜索组件与训练用于在维基百科段落中检测答案的多层循环神经网络模型相结合。我们在多个现有问答数据集上的实验表明,(1) 两个模块在性能上都与现有的同类方法具有高度竞争力;(2) 使用远监督进行多任务学习,可以有效地将这两个模块结合起来,形成一个应对这一具有挑战性任务的完整系统。

代码仓库

BAJUKA/SQuAD-NLP
tf
GitHub 中提及
iCompass-ai/TunBERT
tf
GitHub 中提及
HKUST-KnowComp/MnemonicReader
pytorch
GitHub 中提及
facebookresearch/ParlAI
pytorch
GitHub 中提及
xiangyue9607/CliniRC
tf
GitHub 中提及
facebookresearch/DrQA
官方
tf
GitHub 中提及
sachit-n/drqa_doc_reader
pytorch
GitHub 中提及
aaronbae/AnaQA
pytorch
GitHub 中提及

基准测试

基准方法指标
open-domain-question-answering-on-searchqaDrQA
EM: 41.9
open-domain-question-answering-on-squad11DrQA
EM: 70.0
question-answering-on-natural-questions-longDrQA
F1: 46.1
question-answering-on-quasart-tDrQA
EM: 37.7
question-answering-on-squad11Document Reader (single model)
EM: 70.733
F1: 79.353
question-answering-on-squad11-devDrQA (Document Reader only)
EM: 69.5
F1: 78.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
阅读维基百科以回答开放领域问题 | 论文 | HyperAI超神经