4 个月前

MoCoSA:基于动量对比的结构增强预训练语言模型知识图谱补全方法

MoCoSA:基于动量对比的结构增强预训练语言模型知识图谱补全方法

摘要

知识图谱补全(KGC)旨在对知识图谱中的事实进行推理,并自动推断缺失的链接。现有的方法主要可以分为基于结构的方法或基于描述的方法。一方面,基于结构的方法通过实体嵌入有效地表示了知识图谱中的关系事实。然而,由于结构信息有限,它们在处理语义丰富的现实世界实体时遇到困难,并且无法推广到未见过的实体。另一方面,基于描述的方法利用预训练语言模型(PLMs)来理解文本信息。这些方法对未见过的实体表现出较强的鲁棒性。然而,它们在大规模负采样方面存在困难,通常在性能上落后于基于结构的方法。为了解决这些问题,本文提出了一种结合结构增强预训练语言模型的动量对比方法(MoCoSA),该方法允许预训练语言模型通过可适应的结构编码器感知结构信息。为了提高学习效率,我们提出了动量难负样本和关系内负采样的策略。实验结果表明,我们的方法在平均倒数排名(MRR)指标上达到了最先进的性能,在WN18RR数据集上提高了2.5%,在OpenBG500数据集上提高了21%。

基准测试

基准方法指标
link-prediction-on-fb15k-237MoCoSA
Hits@1: 0.292
Hits@10: 0.578
Hits@3: 0.42
MRR: 0.387
link-prediction-on-openbg500MoCoSA
Hits@1: 0.531
Hits@10: 0.83
Hits@3: 0.711
MRR: 0.634
link-prediction-on-wn18rrMoCoSA
Hits@1: 0.624
Hits@10: 0.82
Hits@3: 0.737
MRR: 0.696

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MoCoSA:基于动量对比的结构增强预训练语言模型知识图谱补全方法 | 论文 | HyperAI超神经