4 个月前

知识图谱中半归纳链接预测的基准测试

知识图谱中半归纳链接预测的基准测试

摘要

在知识图谱(KG)中,半归纳链接预测(LP)是指基于上下文信息预测新出现的、之前未见过的实体之间的关系。尽管原则上可以通过从头开始重新训练模型来整合新实体,但这种方法对于大规模知识图谱来说并不可行,因为重新训练成本高昂且新实体可能频繁出现。本文提出并描述了一个用于评估半归纳链接预测模型的大规模基准测试。该基准测试基于并扩展了Wikidata5M,提供了传递性、k-shot和0-shot链接预测任务,每种任务的信息可用性从(i)仅包含知识图谱结构,到(ii)包括文本提及,再到(iii)详细的实体描述。我们报告了一项小规模研究的结果,发现无论在哪种实验中,半归纳链接预测在长尾实体上的表现都远低于传递性链接预测的表现。该基准测试为未来研究如何在半归纳链接预测模型中整合上下文和文本信息提供了一个试验平台。

代码仓库

uma-pi1/wikidata5m-si
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
inductive-link-prediction-on-wikidata5m-siSimKGC (mentions)
0-shot MRR: 0.22
inductive-link-prediction-on-wikidata5m-siDistMult + ERAvg
1-shot MRR: 0.171
10-shot MRR: 0.333
inductive-link-prediction-on-wikidata5m-siComplEx + Bias * FoldIn
0-shot MRR: 0.124
inductive-link-prediction-on-wikidata5m-siKGT5 (descriptions)
0-shot MRR: 0.470
inductive-link-prediction-on-wikidata5m-siKGT5 (mentions)
0-shot MRR: 0.31
inductive-link-prediction-on-wikidata5m-siKGT5-context (descriptions)
0-shot MRR: 0.417
1-shot MRR: 0.420
10-shot MRR: 0.437
inductive-link-prediction-on-wikidata5m-siKGT5-context (mentions)
1-shot MRR: 0.217
10-shot MRR: 0.311
inductive-link-prediction-on-wikidata5m-siDistMult + ERAvg (descriptions)
1-shot MRR: 0.278
10-shot MRR: 0.292
inductive-link-prediction-on-wikidata5m-siDistMult + ERAvg (mentions)
1-shot MRR: 0.187
10-shot MRR: 0.28
inductive-link-prediction-on-wikidata5m-siSimKGC (descriptions)
0-shot MRR: 0.403
inductive-link-prediction-on-wikidata5m-siHittER
0-shot MRR: 0.019
1-shot MRR: 0.105
10-shot MRR: 0.221
inductive-link-prediction-on-wikidata5m-siComplEx + Bias + Fold in
1-shot MRR: 0.151
10-shot MRR: 0.206

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
知识图谱中半归纳链接预测的基准测试 | 论文 | HyperAI超神经