摘要

我们提出了一种基于BERT的全局实体消歧（ED）模型。为了捕捉全局上下文信息以进行实体消歧，我们的模型不仅将单词作为输入标记，还将实体作为输入标记，并通过依次将提及解析为其指代的实体并在每一步中使用已解析的实体作为输入来解决任务。我们使用从Wikipedia获取的大规模实体注释语料库对模型进行了训练。在五个标准的实体消歧数据集上，我们取得了新的最先进结果：AIDA-CoNLL、MSNBC、AQUAINT、ACE2004和WNED-WIKI。源代码和模型检查点可在https://github.com/studio-ousia/luke 获取。