摘要

信息检索任务是许多自然语言处理系统（如开放域问答系统）中的关键组成部分。传统方法依赖于人工设计的特征，而近年来基于神经网络的连续表示方法已取得具有竞争力的性能。然而，使用此类方法的一个挑战在于需要大量标注数据来训练检索模型，这些数据通常以查询与相关文档的配对形式存在。本文提出了一种受知识蒸馏启发的新型技术，用于学习下游任务的检索模型，该方法无需依赖人工标注的查询-文档配对数据。我们的方法利用用于基于检索文档完成任务的阅读器模型的注意力得分，生成用于检索模型训练的合成标签。在问答任务上的实验表明，该方法取得了当前最优的性能。