摘要

在科学领域获取大规模标注数据以用于自然语言处理（NLP）任务既具有挑战性又成本高昂。为了解决高质量、大规模标注科学数据不足的问题，我们发布了SciBERT，这是一种基于BERT（Devlin等人，2018年）的预训练语言模型。SciBERT利用在大规模多领域科学出版物语料库上的无监督预训练，提高了下游科学NLP任务的性能。我们在一系列任务上进行了评估，包括序列标注、句子分类和依存句法分析，所使用的数据集来自多个科学领域。我们展示了与BERT相比在统计上显著的性能提升，并在这些任务中的几项上达到了新的最先进水平。代码和预训练模型可在https://github.com/allenai/scibert/ 获取。