
摘要
本文提出了一种利用维基百科作为唯一知识源来解决开放域问答问题的方法:任何事实性问题的答案都是维基百科文章中的一个文本片段。这项大规模机器阅读任务结合了文档检索(找到相关文章)和文本机器理解(从这些文章中识别答案片段)的挑战。我们的方法将基于双元哈希和TF-IDF匹配的搜索组件与训练用于在维基百科段落中检测答案的多层循环神经网络模型相结合。我们在多个现有问答数据集上的实验表明,(1) 两个模块在性能上都与现有的同类方法具有高度竞争力;(2) 使用远监督进行多任务学习,可以有效地将这两个模块结合起来,形成一个应对这一具有挑战性任务的完整系统。
代码仓库
hitvoice/DrQA
pytorch
BAJUKA/SQuAD-NLP
tf
GitHub 中提及
iCompass-ai/TunBERT
tf
GitHub 中提及
HKUST-KnowComp/MnemonicReader
pytorch
GitHub 中提及
facebookresearch/ParlAI
pytorch
GitHub 中提及
xiangyue9607/CliniRC
tf
GitHub 中提及
facebookresearch/DrQA
官方
tf
GitHub 中提及
sachit-n/drqa_doc_reader
pytorch
GitHub 中提及
aaronbae/AnaQA
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-domain-question-answering-on-searchqa | DrQA | EM: 41.9 |
| open-domain-question-answering-on-squad11 | DrQA | EM: 70.0 |
| question-answering-on-natural-questions-long | DrQA | F1: 46.1 |
| question-answering-on-quasart-t | DrQA | EM: 37.7 |
| question-answering-on-squad11 | Document Reader (single model) | EM: 70.733 F1: 79.353 |
| question-answering-on-squad11-dev | DrQA (Document Reader only) | EM: 69.5 F1: 78.8 |