摘要

将事实知识融入预训练语言模型（PLM），如BERT，是近年来自然语言处理（NLP）研究中的一个新兴趋势。然而，现有的大多数方法通常将外部知识集成模块与修改后的预训练损失函数相结合，并在大规模语料库上重新实现预训练过程。这种重新预训练往往资源消耗巨大，且难以适应具有不同知识图谱（KG）的其他领域。此外，这些方法要么无法根据文本上下文动态嵌入知识上下文，要么在处理知识歧义问题时表现不佳。本文提出了一种基于微调过程的新型知识感知语言模型框架，该框架使PLM具备一个统一的知识增强文本图，该图包含从知识图谱中提取的文本信息以及多关系子图。我们设计了一种基于分层关系图的消息传递机制，能够使注入的知识图谱表示与文本表示相互更新，并能根据上下文动态选择具有相同文本表述但语义上存在歧义的实体。实验结果表明，该模型能够高效地将知识图谱中的世界知识融入现有语言模型（如BERT），在机器阅读理解（MRC）任务上显著优于其他知识增强型模型。