3 个月前

预训练模型是否有助于知识图谱补全?一项可靠的评估与合理的解决方案

预训练模型是否有助于知识图谱补全?一项可靠的评估与合理的解决方案

摘要

近年来,预训练语言模型(Pre-trained Language Models, PLMs)被证实能够从海量文本中捕捉事实性知识,这推动了基于PLM的知识图谱补全(Knowledge Graph Completion, KGC)模型的提出。然而,这些模型在性能上仍显著落后于当前最优(SOTA)的KGC模型。本文发现导致其表现不佳的两个主要原因:(1)评估设置不够准确。在封闭世界假设(Closed-World Assumption, CWA)下的评估可能低估了基于PLM的KGC模型的性能,因为这类模型引入了更多外部知识;(2)对PLM的利用方式不当。大多数基于PLM的KGC模型仅简单拼接实体和关系的标签作为输入,生成语义不连贯的句子,未能充分挖掘PLM中蕴含的隐式知识。为缓解上述问题,本文提出在开放世界假设(Open-World Assumption, OWA)下采用更准确的评估设置,该设置通过人工核查知识图谱(KG)之外的知识正确性,从而更真实地反映模型能力。此外,受提示调优(Prompt Tuning)的启发,本文提出一种新型基于PLM的KGC模型——PKGC。其核心思想是将每个三元组及其支持信息转化为自然语言形式的提示(prompt)句子,再输入PLM进行分类。在两个KGC数据集上的实验结果表明,OWA评估设置在链路预测任务中更具可靠性,且所提出的PKGC模型在CWA与OWA两种设定下均表现出显著有效性。

基准测试

基准方法指标
knowledge-graph-completion-on-fb15k-237PKGC
Hits@10: 48.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
预训练模型是否有助于知识图谱补全?一项可靠的评估与合理的解决方案 | 论文 | HyperAI超神经