摘要

双向编码器表示模型（BERT）在各种自然语言处理（NLP）任务中展示了显著的改进，其后续变体也被提出以进一步提升预训练语言模型的性能。本文首先介绍了一种针对中文BERT的整词掩码（whole word masking, wwm）策略，以及一系列中文预训练语言模型。接着，我们提出了一种简单但有效的模型——MacBERT，该模型在多个方面对RoBERTa进行了改进。特别是，我们提出了一种新的掩码策略，称为基于修正的掩码语言模型（Masked Language Model as Correction, Mac）。为了证明这些模型的有效性，我们创建了一系列中文预训练语言模型作为基线模型，包括BERT、RoBERTa、ELECTRA、RBT等。我们在十个中文NLP任务上进行了广泛的实验，以评估所创建的中文预训练语言模型及提出的MacBERT。实验结果表明，MacBERT在许多NLP任务上达到了最先进的性能，并且我们还详细分析了几个可能有助于未来研究的发现。为了进一步促进研究社区的发展，我们开源了我们的预训练语言模型。资源链接如下：https://github.com/ymcui/Chinese-BERT-wwm