摘要

我们介绍了SpanBERT，这是一种旨在更好地表示和预测文本片段的预训练方法。我们的方法扩展了BERT，具体包括：（1）遮蔽连续的随机文本片段，而不是随机的单个词；（2）训练文本片段边界表示以预测整个被遮蔽的文本片段的内容，而不依赖于其中的单个词表示。SpanBERT在诸如问答和共指消解等文本片段选择任务上始终优于BERT及其经过更好调优的基线模型，并且取得了显著的性能提升。特别是，在使用与BERT-large相同的训练数据和模型规模的情况下，我们的单一模型在SQuAD 1.1和2.0上的F1分数分别达到了94.6%和88.7%。我们还在OntoNotes共指消解任务上达到了新的最先进水平（79.6% F1），在TACRED关系抽取基准测试中表现出色，并且在GLUE基准测试中也显示出一定的性能提升。