摘要

双向编码器表示从变换器（BERT）在各种自然语言处理任务中展示了显著的改进，随后提出了多个变体以进一步提升预训练语言模型的性能。本文旨在重新审视中文预训练语言模型，检验其在非英语语言中的有效性，并向社区发布中文预训练语言模型系列。我们还提出了一种简单但有效的模型——MacBERT，该模型在多个方面对RoBERTa进行了改进，特别是在采用了MLM作为校正机制（Mac）的掩码策略上。我们在八个中文自然语言处理任务上进行了广泛的实验，以重新评估现有的预训练语言模型以及所提出的MacBERT。实验结果表明，MacBERT在许多自然语言处理任务中达到了最先进的性能，并且我们还通过几项发现对细节进行了消融分析，这些发现可能对未来的研究有所帮助。资源链接：https://github.com/ymcui/MacBERT