HyperAIHyperAI

Command Palette

Search for a command to run...

近似最近邻负对比学习在稠密文本检索中的应用

Lee Xiong Chenyan Xiong Ye Li Kwok-Fung Tang Jialin Liu Paul Bennett Junaid Ahmed Arnold Overwijk

摘要

在密集学习表示空间中进行文本检索相较于稀疏检索具有诸多显著优势。然而,密集检索(Dense Retrieval, DR)的实际效果通常需要与稀疏检索相结合才能达到最佳性能。本文指出,其主要瓶颈在于训练机制:训练过程中所使用的负样本并不能充分代表测试阶段中的无关文档。为此,本文提出一种名为“近似最近邻负样本对比估计”(Approximate Nearest Neighbor Negative Contrastive Estimation, ANCE)的新型训练机制,该机制基于语料库的近似最近邻(Approximate Nearest Neighbor, ANN)索引构建负样本,并在模型学习过程中并行更新该索引,从而选择更具真实性的负样本用于训练。这一方法从根本上缓解了密集检索在训练与测试阶段所面临的数据分布不一致问题。实验结果表明,ANCE显著提升了BERT-Siamese密集检索模型的性能,使其超越所有现有的竞争性密集与稀疏检索基线。在ANCE学习得到的表示空间中,该方法在使用点积计算时几乎达到了稀疏检索结合BERT重排序的精度水平,同时实现了近100倍的推理速度提升。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
近似最近邻负对比学习在稠密文本检索中的应用 | 论文 | HyperAI超神经