摘要

神经信息检索（Neural Information Retrieval, IR）在搜索及其他知识密集型语言任务中取得了显著进展。尽管许多神经IR方法将查询与文档编码为单一向量表示，但晚期交互模型（late interaction models）在每个词元（token）粒度上生成多向量表示，并将相关性建模分解为可扩展的词元级计算。这种分解已被证明能显著提升晚期交互模型的性能，但同时也使其模型空间开销增加了一个数量级。在本工作中，我们提出ColBERTv2，一种通过结合激进的残差压缩机制与去噪监督策略的检索器，实现了在提升晚期交互模型性能的同时，显著降低其空间占用。我们在多个广泛基准上对ColBERTv2进行了评估，结果表明其在训练域内与域外任务中均达到了当前最优的检索质量，同时将晚期交互模型的空间开销降低了6至10倍。