摘要

预训练语言表示模型（PLMs）无法很好地从文本中捕捉事实知识。相比之下，知识嵌入（KE）方法可以通过富有信息量的实体嵌入有效地表示知识图谱（KGs）中的关系事实，但传统的KE模型无法充分利用丰富的文本信息。在本文中，我们提出了一种统一的知识嵌入和预训练语言表示模型（KEPLER），该模型不仅能够更好地将事实知识整合到PLMs中，还能利用强大的PLMs生成有效的文本增强型KE。在KEPLER中，我们使用PLM对文本实体描述进行编码作为其嵌入，然后联合优化KE和语言建模目标。实验结果表明，KEPLER在各种自然语言处理任务上达到了最先进的性能，并且在知识图谱链接预测方面也表现出色。此外，为了预训练和评估KEPLER，我们构建了Wikidata5M，这是一个包含对齐实体描述的大规模KG数据集，并在此数据集上对最先进的KE方法进行了基准测试。它将成为一个新的KE基准，并促进大规模KG、归纳性KE以及带有文本的KG的研究。源代码可从https://github.com/THU-KEG/KEPLER获取。