
摘要
无需依赖外部知识,开放域问答的生成式模型已展现出较强的竞争力。尽管前景可观,但此类方法通常需要使用参数量达数十亿的模型,导致训练和推理成本高昂。本文探讨了检索文本片段(可能包含证据)对这类模型所能带来的收益。我们在自然问题(Natural Questions)和TriviaQA这两个开放域基准测试上取得了当前最优的结果。有趣的是,我们发现随着检索到的文本片段数量增加,该方法的性能显著提升。这一现象表明,生成式模型在整合与融合多段文本证据方面具有优异的能力。
代码仓库
xfactlab/emnlp2023-damaging-retrieval
pytorch
GitHub 中提及
uclnlp/APE
pytorch
GitHub 中提及
FenQQQ/Fusion-in-decoder
pytorch
GitHub 中提及
jhyuklee/DensePhrases
pytorch
GitHub 中提及
princeton-nlp/DensePhrases
pytorch
GitHub 中提及
facebookresearch/FiD
pytorch
GitHub 中提及
amzn/refuel-open-domain-qa
pytorch
GitHub 中提及
ZIZUN/MAFiD
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| question-answering-on-conditionalqa | FiD | Conditional (answers): 45.2 / 49.7 Conditional (w/ conditions): 4.7 / 5.8 Overall (answers): 44.4 / 50.8 Overall (w/ conditions): 35.0 / 40.6 |
| question-answering-on-natural-questions | FiD-KD (full) | EM: 54.7 |
| question-answering-on-natural-questions | FID (full) | EM: 51.4 |
| question-answering-on-triviaqa | Fusion-in-Decoder (large) | EM: 67.6 |