摘要

我们通过基于前序标记与大规模语料库中检索出的文档片段之间的局部相似性进行条件化，提升了自回归语言模型的性能。在使用包含2万亿标记的数据库的前提下，我们的检索增强型Transformer（RETRO）在The Pile基准测试上取得了与GPT-3和Jurassic-1相当的性能，而参数量仅为后两者的1/25。经过微调后，RETRO在问答等依赖知识的下游任务中表现出色。RETRO结合了冻结的BERT检索器、可微分编码器以及分块交叉注意力机制，能够基于比常规训练数据量大一个数量级的信息进行标记预测。我们通常从零开始训练RETRO，但也能够快速地将预训练的Transformer模型通过引入检索机制进行“RETROfit”，并仍可获得良好的性能表现。本研究为在前所未有的规模上通过显式记忆机制提升语言模型开辟了全新的路径。