HyperAIHyperAI

Command Palette

Search for a command to run...

开放域问答中的多文档阅读器与检索器端到端训练

Devendra Singh Sachan Siva Reddy William Hamilton Chris Dyer Dani Yogatama

摘要

我们提出了一种用于检索增强型开放域问答系统的端到端可微训练方法,该方法在生成答案时能够整合来自多个检索文档的信息。我们将检索决策建模为相关文档集合上的隐变量。由于对检索文档集合进行边缘化计算复杂度极高,我们采用期望最大化(Expectation-Maximization)算法对其进行近似。该方法通过迭代估计隐变量的值(即给定问题的相关文档集合),并利用该估计结果更新检索器与阅读器的参数。我们假设,这种端到端的训练方式能够使训练信号更有效地从阅读器反向传播至检索器,相较于分阶段训练更具优势。由此带来的结果是:检索器能够为问题选择出更相关的文档,而阅读器则基于更准确的文档进行训练,从而生成更优的答案。在三个基准数据集上的实验表明,所提出的方法在与现有同类规模方法对比时,绝对精确匹配(exact match)指标提升2-3个百分点,达到了新的最先进水平。此外,我们的实验结果还验证了无需显式监督检索决策即可通过学习优化检索过程以提升答案生成质量的可行性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
开放域问答中的多文档阅读器与检索器端到端训练 | 论文 | HyperAI超神经