3 个月前

开放域问答中的自适应信息获取

开放域问答中的自适应信息获取

摘要

信息检索是开放域问答任务中高效从大规模语料库中获取证据的关键步骤。近年来,迭代式方法在处理复杂问题方面被证明具有显著效果,其通过在每一步递归地检索新的证据来逐步推进。然而,几乎所有现有的迭代方法均采用预定义的策略,要么重复使用相同的检索函数,要么固定不同检索函数的执行顺序,这种固定模式难以满足不同类型问题的多样化需求。为此,本文提出一种新型的自适应信息检索策略——AISO(Adaptive Information-Seeking Strategy),用于开放域问答任务。具体而言,AISO将整个检索与答案生成过程建模为一个部分可观测的马尔可夫决策过程(POMDP),其中定义了三种类型的检索操作(如BM25、DPR和超链接检索)以及一种答案生成操作作为可执行动作。基于所学习到的策略,AISO能够根据已收集的证据和重新构建的查询,在每一步自适应地选择最合适的检索动作以获取缺失的证据;当证据集足以支持作答时,则直接输出答案。在SQuAD Open和HotpotQA fullwiki这两个基准数据集上的实验结果表明,AISO在检索与答案生成两个评价维度上均显著优于所有采用预定义策略的基线方法,充分验证了其在开放域问答任务中的有效性与优越性。

代码仓库

zycdev/aiso
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
question-answering-on-hotpotqaAISO
ANS-EM: 0.675
ANS-F1: 0.805
JOINT-EM: 0.449
JOINT-F1: 0.720
SUP-EM: 0.612
SUP-F1: 0.860

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
开放域问答中的自适应信息获取 | 论文 | HyperAI超神经