摘要

我们提出了一种通过知识增强的语言表示模型，称为ERNIE（Enhanced Representation through kNowledge IntEgration）。该模型受到BERT掩码策略的启发，设计了通过知识掩码策略学习语言表示的方法，这些策略包括实体级掩码和短语级掩码。实体级策略对通常由多个单词组成的实体进行掩码；短语级策略则对作为一个概念单元的若干连续单词组成的整个短语进行掩码。实验结果表明，ERNIE在五个中文自然语言处理任务上超越了其他基线方法，取得了最新的最佳结果，这些任务包括自然语言推理、语义相似度、命名实体识别、情感分析和问答。此外，我们在完形填空测试中也证明了ERNIE具有更强的知识推断能力。