3 个月前

MoCoKGC:用于知识图谱补全的动量对比实体编码

MoCoKGC:用于知识图谱补全的动量对比实体编码

摘要

近年来,众多研究致力于通过融合知识图谱的结构信息,提升预训练语言模型(PLMs)在知识图谱补全(KGC)任务中的性能。然而,现有方法尚未有效结合知识图谱的结构属性与实体的文本描述,以生成鲁棒的实体编码。为解决这一问题,本文提出MoCoKGC(基于动量对比的实体编码知识图谱补全模型),该模型引入三种核心编码器:实体-关系编码器、实体编码器以及动量实体编码器。动量对比学习不仅能够提供更丰富的负样本,还支持实体编码的渐进式更新。在此基础上,本文将生成的实体编码重新输入编码器,以进一步融合知识图谱的结构信息。此外,MoCoKGC通过关系的深度提示(deep prompts)增强了实体-关系编码器的推理能力。在标准评估指标平均倒数排名(MRR)上,MoCoKGC模型表现出色,在WN18RR数据集上实现7.1%的性能提升,在Wikidata5M数据集上提升达11%,同时在FB15k-237数据集上也超越了当前最优模型。通过一系列系统性实验,本文深入分析了模型各组件及参数的作用与贡献。

基准测试

基准方法指标
link-prediction-on-fb15k-237MoCoKGC
Hits@1: 0.296
Hits@10: 0.580
Hits@3: 0.431
MRR: 0.391
link-prediction-on-wikidata5mMoCoKGC
Hits@1: 0.435
Hits@10: 0.591
Hits@3: 0.517
MRR: 0.490
link-prediction-on-wn18rrMoCoKGC
Hits@1: 0.665
Hits@10: 0.881
Hits@3: 0.792
MRR: 0.742

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MoCoKGC:用于知识图谱补全的动量对比实体编码 | 论文 | HyperAI超神经