摘要

我们介绍了REPLUG，这是一种基于检索增强的语言模型框架，该框架将语言模型（LM）视为黑箱，并通过一个可调的检索模型对其进行增强。与以往使用特殊交叉注意力机制对检索到的文本进行编码的检索增强型语言模型不同，REPLUG仅将检索到的文档前置附加到输入中，供冻结的黑箱语言模型处理。这种简单的设计可以轻松应用于任何现有的检索和语言模型。此外，我们展示了语言模型可以用于监督检索模型，从而帮助后者找到有助于语言模型做出更好预测的文档。实验结果表明，使用调优后的检索器后，REPLUG显著提升了GPT-3（175B）在语言建模任务上的性能，提高了6.3%，同时也提升了Codex在五次射击MMLU任务上的表现，提高了5.1%。