4 个月前

在知识库中嵌入实体和关系以进行学习和推理

在知识库中嵌入实体和关系以进行学习和推理

摘要

我们考虑使用神经嵌入方法学习知识库(KBs)中实体和关系的表示。研究表明,大多数现有的模型,包括NTN(Socher等人,2013年)和TransE(Bordes等人,2013b),可以在一个统一的学习框架下进行泛化,在该框架中,实体是从神经网络学习到的低维向量,而关系则是双线性和/或线性映射函数。基于这一框架,我们在链接预测任务上比较了多种嵌入模型。研究结果表明,一种简单的双线性公式在该任务上取得了新的最佳成绩(在Freebase上的前10名准确率为73.2%,而TransE为54.7%)。此外,我们提出了一种新颖的方法,利用所学的关系嵌入来挖掘逻辑规则,例如“BornInCity(a,b) 和 CityInCountry(b,c) => Nationality(a,c)”(如果a出生在城市b,并且城市b位于国家c,则a的国籍为c)。我们发现,从双线性目标学习到的嵌入特别擅长捕捉关系语义,并且关系的组合可以通过矩阵乘法来表征。更有趣的是,我们证明了基于嵌入的规则提取方法在挖掘涉及组合推理的Horn规则方面成功超越了最先进的基于置信度的规则挖掘方法。

代码仓库

thu-keg/eakit
pytorch
GitHub 中提及
giuseppefutia/semi
pytorch
GitHub 中提及
bi-graph/emgraph
tf
GitHub 中提及
sntcristian/and-kge
pytorch
GitHub 中提及
Sujit-O/pykg2vec
tf
GitHub 中提及
thiviyant/intelligraphs
pytorch
GitHub 中提及
awslabs/dgl-ke
pytorch
GitHub 中提及
facebookresearch/PyTorch-BigGraph
pytorch
GitHub 中提及

基准测试

基准方法指标
link-prediction-on-fb15k-237DistMult
Hits@10: 0.419
MRR: 0.241
link-prediction-on-umlsDistMult
Hits@10: 0.846
MR: 5.52
link-prediction-on-wn18DistMult
Hits@1: 0.728
Hits@10: 0.936
Hits@3: 0.914
MR: 902
MRR: 0.822
link-prediction-on-wn18rrDisMult
Hits@1: 0.39
MRR: 0.43
link-property-prediction-on-ogbl-biokgDistMult
Ext. data: No
Number of params: 187648000
Test MRR: 0.8043 ± 0.0003
Validation MRR: 0.8055 ± 0.0003
link-property-prediction-on-ogbl-wikikg2DistMult (500dim)
Ext. data: No
Number of params: 1250569500
Test MRR: 0.3729 ± 0.0045
Validation MRR: 0.3506 ± 0.0042
link-property-prediction-on-ogbl-wikikg2DistMult (100dim)
Ext. data: No
Number of params: 250113900
Test MRR: 0.3447 ± 0.0082
Validation MRR: 0.3150 ± 0.0088

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
在知识库中嵌入实体和关系以进行学习和推理 | 论文 | HyperAI超神经