
摘要
在知识图谱(KG)中,半归纳链接预测(LP)是指基于上下文信息预测新出现的、之前未见过的实体之间的关系。尽管原则上可以通过从头开始重新训练模型来整合新实体,但这种方法对于大规模知识图谱来说并不可行,因为重新训练成本高昂且新实体可能频繁出现。本文提出并描述了一个用于评估半归纳链接预测模型的大规模基准测试。该基准测试基于并扩展了Wikidata5M,提供了传递性、k-shot和0-shot链接预测任务,每种任务的信息可用性从(i)仅包含知识图谱结构,到(ii)包括文本提及,再到(iii)详细的实体描述。我们报告了一项小规模研究的结果,发现无论在哪种实验中,半归纳链接预测在长尾实体上的表现都远低于传递性链接预测的表现。该基准测试为未来研究如何在半归纳链接预测模型中整合上下文和文本信息提供了一个试验平台。
代码仓库
uma-pi1/wikidata5m-si
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| inductive-link-prediction-on-wikidata5m-si | SimKGC (mentions) | 0-shot MRR: 0.22 |
| inductive-link-prediction-on-wikidata5m-si | DistMult + ERAvg | 1-shot MRR: 0.171 10-shot MRR: 0.333 |
| inductive-link-prediction-on-wikidata5m-si | ComplEx + Bias * FoldIn | 0-shot MRR: 0.124 |
| inductive-link-prediction-on-wikidata5m-si | KGT5 (descriptions) | 0-shot MRR: 0.470 |
| inductive-link-prediction-on-wikidata5m-si | KGT5 (mentions) | 0-shot MRR: 0.31 |
| inductive-link-prediction-on-wikidata5m-si | KGT5-context (descriptions) | 0-shot MRR: 0.417 1-shot MRR: 0.420 10-shot MRR: 0.437 |
| inductive-link-prediction-on-wikidata5m-si | KGT5-context (mentions) | 1-shot MRR: 0.217 10-shot MRR: 0.311 |
| inductive-link-prediction-on-wikidata5m-si | DistMult + ERAvg (descriptions) | 1-shot MRR: 0.278 10-shot MRR: 0.292 |
| inductive-link-prediction-on-wikidata5m-si | DistMult + ERAvg (mentions) | 1-shot MRR: 0.187 10-shot MRR: 0.28 |
| inductive-link-prediction-on-wikidata5m-si | SimKGC (descriptions) | 0-shot MRR: 0.403 |
| inductive-link-prediction-on-wikidata5m-si | HittER | 0-shot MRR: 0.019 1-shot MRR: 0.105 10-shot MRR: 0.221 |
| inductive-link-prediction-on-wikidata5m-si | ComplEx + Bias + Fold in | 1-shot MRR: 0.151 10-shot MRR: 0.206 |