摘要

检索模型是现实世界中知识密集型任务（如开放域问答，ODQA）不可或缺的组成部分。由于不同数据集上标注的检索技能各不相同，近期研究多聚焦于定制化方法，导致模型的可迁移性和可扩展性受限。本文提出一种模块化检索器，其中每个模块对应一种关键检索技能，这些技能可在不同数据集间复用。该方法可根据目标领域灵活配置技能组合，从而提升性能表现。为缓解任务间的干扰问题，我们设计了一种受稀疏Transformer启发的新型模块化参数化机制。实验表明，我们的模型在维基百科上进行自监督预训练，并通过多个ODQA数据集以多任务方式微调后，均能获得显著性能提升。在零样本评估中，该模型优于近期的自监督检索方法，并在NQ、HotpotQA和OTT-QA数据集上实现了当前最优的微调检索性能。