摘要

大多数阅读理解方法仅限于可以通过单个句子、段落或文档回答的问题。使模型能够结合分散的文本证据将扩展机器理解方法的应用范围，但目前尚缺乏用于训练和测试这一能力的资源。我们提出了一项新任务，旨在促进跨多个文档进行文本理解的模型开发，并探讨现有方法的局限性。在该任务中，模型学习寻找并结合证据——实际上是在执行多跳（或多步）推理。我们设计了一种方法，以给定的一系列问题-答案对和主题相关的文档为基础生成适用于此任务的数据集。从不同领域生成了两个数据集，并识别了潜在的陷阱及制定了规避策略。我们评估了两种先前提出的具有竞争力的模型，发现其中一个可以整合跨文档的信息。然而，这两种模型在选择相关信息方面都存在困难，因为提供保证相关性的文档会显著提高它们的表现。尽管这些模型超越了几种强大的基线模型，但其最佳准确率仅为42.9%，而人类的表现为74.0%——这表明仍有很大的改进空间。