摘要

近期，预训练语言模型如ELMo（Peters等人，2017年）、OpenAI GPT（Radford等人，2018年）和BERT（Devlin等人，2018年）在各种自然语言处理任务中取得了令人印象深刻的结果，例如问答和自然语言推理。本文描述了基于查询的段落重排序任务中对BERT的一个简单重新实现。我们的系统在TREC-CAR数据集上达到了当前最佳水平，并且在MS MARCO段落检索任务的排行榜上位列第一，MRR@10指标相对优于之前的最佳方法27%。用于复现我们结果的代码可在https://github.com/nyu-dl/dl4marco-bert 获取。