3 个月前

利用生成模型结合段落检索实现开放域问答

利用生成模型结合段落检索实现开放域问答

摘要

无需依赖外部知识,开放域问答的生成式模型已展现出较强的竞争力。尽管前景可观,但此类方法通常需要使用参数量达数十亿的模型,导致训练和推理成本高昂。本文探讨了检索文本片段(可能包含证据)对这类模型所能带来的收益。我们在自然问题(Natural Questions)和TriviaQA这两个开放域基准测试上取得了当前最优的结果。有趣的是,我们发现随着检索到的文本片段数量增加,该方法的性能显著提升。这一现象表明,生成式模型在整合与融合多段文本证据方面具有优异的能力。

代码仓库

uclnlp/APE
pytorch
GitHub 中提及
FenQQQ/Fusion-in-decoder
pytorch
GitHub 中提及
jhyuklee/DensePhrases
pytorch
GitHub 中提及
princeton-nlp/DensePhrases
pytorch
GitHub 中提及
facebookresearch/FiD
pytorch
GitHub 中提及
amzn/refuel-open-domain-qa
pytorch
GitHub 中提及
ZIZUN/MAFiD
pytorch
GitHub 中提及

基准测试

基准方法指标
question-answering-on-conditionalqaFiD
Conditional (answers): 45.2 / 49.7
Conditional (w/ conditions): 4.7 / 5.8
Overall (answers): 44.4 / 50.8
Overall (w/ conditions): 35.0 / 40.6
question-answering-on-natural-questionsFiD-KD (full)
EM: 54.7
question-answering-on-natural-questionsFID (full)
EM: 51.4
question-answering-on-triviaqaFusion-in-Decoder (large)
EM: 67.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
利用生成模型结合段落检索实现开放域问答 | 论文 | HyperAI超神经