Barlas OguzXilun ChenVladimir KarpukhinStan PeshterlievDmytro OkhonkoMichael SchlichtkrullSonal GuptaYashar MehdadScott Yih

摘要
我们研究在结构化、非结构化及半结构化知识源(包括文本、表格、列表和知识库)支持下的开放域问答任务。与以往工作不同,我们提出了一种统一的方法,通过将所有知识源统一转化为文本形式,从而实现对异构数据的同质化处理,并应用此前仅限于文本源的检索-阅读(retriever-reader)模型。相比最新的基于图的方法,该方法在知识库问答任务上的性能显著提升11个百分点。更重要的是,我们证明了所提出的统一知识模型(UniK-QA)是一种简单而高效融合异构知识源的途径,在两个主流问答基准测试——NaturalQuestions和WebQuestions上,分别将当前最先进水平分别提升了3.5和2.6个百分点。UniK-QA的代码已开源,地址为:https://github.com/facebookresearch/UniK-QA。
代码仓库
facebookresearch/UniK-QA
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| knowledge-base-question-answering-on-1 | UniK-QA (T5-base) | Hits@1: 76.7 |
| knowledge-base-question-answering-on-1 | UniK-QA (T5-large) | Hits@1: 79.1 |
| open-domain-question-answering-on | UniK-QA | Exact Match: 57.7 |
| open-domain-question-answering-on-natural | UniK-QA | Exact Match: 54.9 |
| open-domain-question-answering-on-tqa | UniK-QA | Exact Match: 65.5 |
| question-answering-on-natural-questions-long | UniK-QA | EM: 54.9 |
| question-answering-on-tiq | Unik-Qa | P@1: 42.5 |