摘要

预训练语言模型（PLM）已成为自然语言处理领域的代表性基础模型。大多数预训练语言模型在表面形式的文本上进行与语言无关的预训练任务，例如掩码语言模型（MLM）。为了进一步增强预训练语言模型的丰富语言特征，本文提出了一种简单而有效的方法来学习这些语言特征。我们提出了LERT，这是一种使用语言学指导的预训练（LIP）策略，在原有MLM预训练任务的基础上，结合三种类型的语言特征进行训练的预训练语言模型。我们在十个中文自然语言理解（NLU）任务上进行了广泛的实验，实验结果表明，LERT在各种可比基线模型上带来了显著的改进。此外，我们还在多个语言学方面进行了分析实验，结果证明了LERT设计的有效性和合理性。资源可在https://github.com/ymcui/LERT 获取。