摘要

预训练大型神经语言模型（如BERT）在许多自然语言处理（NLP）任务上取得了显著的进展。然而，大多数预训练工作主要集中在通用领域的语料库上，例如新闻通讯和网络数据。一个普遍的假设是，即使是在特定领域的预训练，也可以从通用领域的语言模型开始受益。本文中，我们对这一假设提出了挑战，通过实验证明，在拥有大量未标注文本的领域（如生物医学），从头开始预训练语言模型相较于继续预训练通用领域的语言模型能够带来显著的性能提升。为了促进这一研究，我们从公开可用的数据集中编制了一个全面的生物医学NLP基准测试集。实验结果表明，特定领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础，并在多个任务上达到了新的最先进水平。此外，在对预训练和任务特定微调的各种建模选择进行彻底评估时，我们发现一些常见的做法对于BERT模型来说并非必要，例如在命名实体识别（NER）中使用复杂的标记方案。为了加速生物医学NLP领域的研究，我们已向社区发布了我们的最先进预训练模型和任务特定模型，并创建了一个包含我们BLURB基准测试（即Biomedical Language Understanding & Reasoning Benchmark的缩写）的排行榜，网址为https://aka.ms/BLURB。