4 个月前

开放领域问答中用于答案重排序的证据聚合

开放领域问答中用于答案重排序的证据聚合

摘要

近期一种流行的方法来回答开放域问题,是首先搜索与问题相关的段落,然后应用阅读理解模型从中提取答案。现有的方法通常独立地从单个段落中提取答案。然而,某些问题需要综合来自不同来源的证据才能正确回答。在本文中,我们提出了两种利用多个段落生成答案的模型。这两种模型都采用了基于答案重排序的方法,即重新排列由现有最先进的问答模型生成的答案候选。我们提出了两种具体方法,分别是基于强度的重排序(strength-based re-ranking)和基于覆盖范围的重排序(coverage-based re-ranking),以利用不同段落中的聚合证据更好地确定最终答案。我们的模型在三个公开的开放域问答数据集上取得了最先进的结果:Quasar-T、SearchQA 和 TriviaQA 的开放域版本,在前两个数据集上的表现比之前的方法提高了约8个百分点。

代码仓库

shuohangwang/mprc
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
open-domain-question-answering-on-quasarEvidence Aggregation via R^3 Re-Ranking
EM (Quasar-T): 42.3
F1 (Quasar-T): 49.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
开放领域问答中用于答案重排序的证据聚合 | 论文 | HyperAI超神经