4 个月前

关系预测作为辅助训练目标以改进多关系图表示

关系预测作为辅助训练目标以改进多关系图表示

摘要

在多关系图上学习良好的表示对于知识库补全(KBC)至关重要。本文提出了一种新的自监督训练目标,用于多关系图表示学习,通过简单地将关系预测纳入常用的1对所有(1vsAll)目标中实现。新的训练目标不仅包含预测给定三元组的主语和宾语的项,还包含一个预测关系类型的项。我们分析了这一新目标如何影响KBC中的多关系学习:在多种数据集和模型上的实验表明,关系预测可以显著提高实体排序的效果,这是KBC中最广泛使用的评估任务。具体而言,在FB15k-237数据集上,MRR提高了6.1%,Hits@1提高了9.9%;在Aristo-v4数据集上,MRR提高了3.1%,Hits@1提高了3.4%。此外,我们观察到所提出的训练目标在高度多关系的数据集上特别有效,即包含大量谓词的数据集,并且在使用更大的嵌入维度时生成更好的表示。

基准测试

基准方法指标
link-prediction-on-aristo-v4ComplEx-N3-RP
Hits@1: 0.24
Hits@10: 0.447
Hits@3: 0.336
MRR: 0.311
link-prediction-on-codexComplEx-N3-RP
Hits@1: 0.375
Hits@10: 0.663
Hits@3: 0.514
MRR: 0.473
link-prediction-on-codex-largeComplEx-N3-RP
Hits@1: 0.277
Hits@10: 0.473
Hits@3: 0.377
MRR: 0.345
link-prediction-on-codex-mediumComplEx-N3-RP
Hits@1: 0.277
Hits@10: 0.490
Hits@3: 0.386
MRR: 0.352
link-prediction-on-fb15k-237TuckER-RP
Hits@1: 0.264
Hits@10: 0.535
Hits@3: 0.388
MRR: 0.354
link-prediction-on-fb15k-237ComplEx-N3-RP
Hits@1: 0.298
Hits@10: 0.568
Hits@3: 0.424
MR: 163
MRR: 0.389
link-prediction-on-fb15k-237CP-N3-RP
Hits@10: 0.55
MRR: 0.366
link-prediction-on-wn18rrComplEx-N3-RP
Hits@1: 0.443
Hits@10: 0.578
Hits@3: 0.505
MRR: 0.488
link-property-prediction-on-ogbl-biokgComplEx-N3-RP
Number of params: 187750000
Test MRR: 0.8494
Validation MRR: 0.8497
link-property-prediction-on-ogbl-wikikg2ComplEx-N3-RP (50dim)
Number of params: 250167400
Test MRR: 0.6364
Validation MRR: 0.6594
link-property-prediction-on-ogbl-wikikg2ComplEx-N3-RP (100dim)
Number of params: 500334800
Test MRR: 0.6481
Validation MRR: 0.6701

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
关系预测作为辅助训练目标以改进多关系图表示 | 论文 | HyperAI超神经