4 个月前

二维卷积知识图谱嵌入

二维卷积知识图谱嵌入

摘要

知识图谱中的链接预测任务旨在预测实体之间缺失的关系。以往的链接预测研究主要集中在浅层、快速模型上,这些模型可以扩展到大型知识图谱。然而,这些模型学习到的特征不如深层、多层模型丰富——这可能限制了其性能。在本工作中,我们引入了一种名为ConvE的多层卷积网络模型用于链接预测,并报告了在多个已建立的数据集上的最新结果。此外,我们还展示了该模型具有极高的参数效率,在参数数量减少8倍和17倍的情况下,仍能分别达到与DistMult和R-GCN相同的性能。对我们的模型分析表明,它特别擅长建模入度较高的节点——这类节点在高度连接且复杂的知识图谱(如Freebase和YAGO3)中非常普遍。此外,已经指出WN18和FB15k数据集存在测试集泄露问题,即训练集中存在的逆关系出现在测试集中——但这一问题的程度尚未量化。我们发现这个问题非常严重:一个简单的基于规则的模型可以在WN18和FB15k上实现最新的性能水平。为了确保模型在无法仅通过利用逆关系获得有竞争力结果的数据集上进行评估,我们调查并验证了几种常用的数据集——必要时推导出稳健的变体。然后我们在这些稳健的数据集上对我们的模型以及几种先前提出的模型进行了实验,并发现ConvE在大多数数据集上实现了最先进的平均倒数排名(Mean Reciprocal Rank)。

代码仓库

thu-keg/eakit
pytorch
GitHub 中提及
TimDettmers/ConvE
官方
pytorch
GitHub 中提及
uma-pi1/kge-iclr20
pytorch
GitHub 中提及
bi-graph/emgraph
tf
GitHub 中提及
LB0828/conve_reproduce
pytorch
GitHub 中提及
INK-USC/RE-Net
pytorch
GitHub 中提及

基准测试

基准方法指标
link-prediction-on-fb15kConvE
Hits@1: 0.558
Hits@10: 0.831
Hits@3: 0.723
MR: 51
MRR: 0.657
link-prediction-on-fb15kInverse Model
Hits@1: 0.658
Hits@10: 0.660
Hits@3: 0.659
MR: 2501
MRR: 0.660
link-prediction-on-fb15k-237Inverse Model
Hits@1: 0.007
Hits@10: 0.014
Hits@3: 0.011
MR: 7030
MRR: 0.010
link-prediction-on-fb15k-237ConvE
Hits@1: 0.237
Hits@10: 0.501
Hits@3: 0.356
MRR: 0.325
link-prediction-on-umlsConvE
Hits@10: 0.990
MR: 1.51
link-prediction-on-wn18ConvE
Hits@1: 0.935
Hits@10: 0.956
Hits@3: 0.946
MR: 374
MRR: 0.943
link-prediction-on-wn18Inverse Model
Hits@1: 0.953
Hits@10: 0.964
Hits@3: 0.964
MR: 740
MRR: 0.963
link-prediction-on-wn18rrConvE
Hits@1: 0.400
Hits@10: 0.520
Hits@3: 0.440
MRR: 0.430
link-prediction-on-wn18rrInverse Model
Hits@1: 0.35
Hits@10: 0.35
Hits@3: 0.35
MR: 13526
MRR: 0.35
link-prediction-on-yago3-10ConvE
Hits@10: 0.62
MRR: 0.44

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
二维卷积知识图谱嵌入 | 论文 | HyperAI超神经