摘要

近年来，由于密集检索模型（dense retrieval models）的成功，开放域问答（open-domain question answering）迅速走红。这类模型仅需少量监督训练样本，便已超越传统的稀疏检索模型。然而，在本文中，我们指出当前的密集检索模型尚未成为检索领域的“终极解决方案”。为此，我们首先构建了一个名为EntityQuestions的数据集，该数据集包含大量基于Wikidata事实的简单、实体丰富的问答对（例如：“Arve Furset出生在哪里？”）。实验结果显示，密集检索器在该数据集上的表现远逊于稀疏检索方法。我们深入分析了这一现象，发现密集检索器仅在常见实体上具备良好的泛化能力，除非在训练过程中显式见过相应的问句模式，否则难以有效泛化至新实体。针对这一关键问题，我们提出了两种简单但有效的解决方案。首先，我们证明了数据增强（data augmentation）无法从根本上解决该泛化缺陷。其次，我们提出，采用更鲁棒的段落编码器（passage encoder），并结合专门设计的问句编码器（question encoder），有助于实现更优的问句适应能力。我们希望本研究能够为构建一种在不同输入分布下均具备强鲁棒性与通用性的密集检索系统提供启示，推动开放域问答技术迈向更可靠、更广泛适用的未来。