3 个月前

长文档上复杂问题回答的迭代分层注意力机制

长文档上复杂问题回答的迭代分层注意力机制

摘要

我们提出了一种名为DocHopper的新模型,该模型通过迭代地关注长篇且具有层次结构的文档的不同部分,以回答复杂的多步问题。与多跳问答(QA)系统类似,DocHopper在每一步中均使用查询$q$来获取文档中的相关信息,并将这些“检索”到的信息与$q$结合,生成下一个查询。然而,与大多数先前的多跳QA系统不同,DocHopper能够“检索”文档中的短段落或长篇章节,从而模拟出在长文档中逐步“导航”的多步推理过程。为实现这一新颖行为,DocHopper并未采用将文档内容直接拼接到查询文本$q$的方式,而是通过将$q$的紧凑神经表示与文档中某一层级部分的紧凑神经表示进行融合,而该部分可能规模相当庞大。我们在四个需要阅读长篇复杂文档以回答多跳问题的QA任务上对DocHopper进行了实验,结果表明,该模型在其中三个数据集上达到了当前最优(state-of-the-art)性能。此外,DocHopper在推理阶段具有较高的效率,其速度比基线方法快3至10倍。

基准测试

基准方法指标
question-answering-on-conditionalqaDocHopper
Conditional (answers): 42.0 / 46.4
Conditional (w/ conditions): 3.1 / 3.8
Overall (answers): 40.6 / 45.2
Overall (w/ conditions): 31.9 / 36.0
question-answering-on-hybridqaDocHopper
ANS-EM: 46.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
长文档上复杂问题回答的迭代分层注意力机制 | 论文 | HyperAI超神经