摘要

预训练的Transformer模型已成为当前自然语言处理（NLP）任务中的前沿方法，能够从文本中学习上下文信息，显著提升多项任务的性能。尽管这类模型具备强大能力，但在特定场景下仍需依赖领域专业知识。本文提出，源自知识图谱（以Wikidata为例）的上下文信息足以为预训练Transformer模型提供有效信号，从而提升其在Wikidata知识图谱上的命名实体消歧（Named Entity Disambiguation, NED）任务表现。我们进一步假设，所提出的知识图谱上下文可被标准化应用于维基百科（Wikipedia）场景，并评估了该KG上下文对当前最先进的维基百科知识库NED模型的影响。实验结果表明，所提出的KG上下文具有良好的泛化能力（适用于维基百科），且在Transformer架构中引入KG上下文后，显著优于现有各类基线方法，包括原始的Transformer模型。