摘要

预训练语言模型在生物医学领域引起了越来越多的关注，这得益于其在通用自然语言领域取得的巨大成功。在通用语言领域的两大主流预训练语言模型分支——BERT（及其变体）与GPT（及其变体）中，BERT系列模型已在生物医学领域得到了广泛研究，例如BioBERT和PubMedBERT。尽管这些模型在多种判别性生物医学下游任务中取得了显著成果，但其缺乏生成能力，限制了其应用范围。本文提出BioGPT，一种基于大规模生物医学文献预训练的领域专用生成式Transformer语言模型。我们在六个生物医学自然语言处理任务上对BioGPT进行了评估，结果表明，该模型在大多数任务上均优于先前的模型。特别是在BC5CDR、KD-DTI和DDI三项端到端关系抽取任务中，分别取得了44.98%、38.42%和40.76%的F1分数，在PubMedQA任务上达到78.2%的准确率，创下新纪录。此外，通过文本生成案例研究，进一步验证了BioGPT在生成生物医学术语流畅描述方面的显著优势。代码已开源，地址为：https://github.com/microsoft/BioGPT。