摘要

目前最先进的开放域问答系统普遍采用神经检索模型，将文本段落编码为连续向量，并从知识源中提取相关信息。然而，这类检索模型通常需要大量内存，主要由于其段落索引规模庞大。本文提出一种名为二值段落检索器（Binary Passage Retriever, BPR）的内存高效神经检索模型，该模型将“学习哈希”（learning-to-hash）技术融入当前最先进的稠密段落检索器（Dense Passage Retriever, DPR），通过紧凑的二值编码而非连续向量来表示段落索引。BPR采用多任务目标进行训练，涵盖两个任务：基于二值编码的高效候选生成，以及基于连续向量的精准重排序。与DPR相比，BPR在两个标准开放域问答基准测试（Natural Questions 和 TriviaQA）上保持了相同精度，同时将内存消耗从65GB大幅降低至2GB。相关代码与训练好的模型已开源，可访问 https://github.com/studio-ousia/bpr 获取。