摘要

我们介绍了CoDEx，这是一组从Wikidata和Wikipedia中提取的知识图谱补全数据集，其在范围和难度上改进了现有的知识图谱补全基准。在范围方面，CoDEx包含三个不同规模和结构的知识图谱、多语言实体和关系描述，以及数万个经过验证为错误但具有合理性的负样本三元组。为了表征CoDEx，我们进行了详尽的实证分析和基准测试实验。首先，我们对每个CoDEx数据集中的逻辑关系模式进行了分析。其次，我们报告了五种经过广泛调优的嵌入模型在CoDEx上的基线链接预测和三元组分类结果。最后，通过展示CoDEx覆盖了更多样化且可解释的内容，并且是一个更具挑战性的链接预测基准，我们将CoDEx与流行的FB15K-237知识图谱补全数据集区分开来。数据、代码和预训练模型可在https://bit.ly/2EPbrJs获取。