
摘要
迄今为止,大多数基于检索-阅读器(retrieval-reader)框架的开放域问答(open-domain QA)研究工作主要集中在抽取式阅读器或生成式阅读器中的某一种,而鲜有兼顾两者的研究。本文提出一种融合方法,旨在综合利用两类模型的优势。我们采用新颖的技术对基于最新预训练神经语言模型构建的抽取式与生成式阅读器进行增强,并发现恰当的训练策略能够显著超越此前的最先进模型。实验表明,通过简单地结合两类阅读器的预测结果,即可高效利用抽取式与生成式答案推理策略的优势,其性能不仅优于单一模型,也优于同质集成(homogeneous ensembles)。在NaturalQuestions和TriviaQA两个数据集上,该方法在精确匹配(exact match)指标上分别比先前的最先进模型提升了3.3和2.7个百分点。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-domain-question-answering-on-natural | UnitedQA (Hybrid) | Exact Match: 54.7 |
| open-domain-question-answering-on-triviaqa | UnitedQA (Hybrid) | Exact Match: 70.5 |
| question-answering-on-efficientqa-dev | UnitedQA | Accuracy: 54.1 |
| question-answering-on-efficientqa-test | UnitedQA | Accuracy: 54 |
| question-answering-on-natural-questions-long | UnitedQA (Hybrid) | EM: 54.7 |
| question-answering-on-triviaqa | UnitedQA (Hybrid reader) | F1: 70.3 |