3 个月前

如何将你的知识图谱嵌入转化为生成模型

如何将你的知识图谱嵌入转化为生成模型

摘要

一些在链接预测任务中表现最为成功的知识图谱嵌入(KGE)模型——如CP、RESCAL、TuckER和ComplEx——可被解释为基于能量的模型。从这一视角来看,这些模型难以进行精确的最大似然估计(MLE)、采样,且难以融入逻辑约束。本文重新将这些KGE模型的打分函数解释为电路(circuits)——即受约束的计算图结构,能够实现高效的边缘化计算。基于此,我们提出了两种构建高效生成式电路模型的方案:一是限制其激活值为非负,二是对输出进行平方处理。这种新解释在链接预测任务中几乎不损失原有性能,同时,电路框架使得精确的MLE学习成为可能,支持高效生成新三元组的采样,并天然保证逻辑约束的满足。此外,与原始KGE模型相比,我们的模型在包含数百万实体的大型图上展现出更优的可扩展性。

代码仓库

april-tools/gekcs
官方
pytorch

基准测试

基准方法指标
link-property-prediction-on-ogbl-biokgComplEx^2
Ext. data: No
Number of params: 187648000
Test MRR: 0.8583 ± 0.0005
Validation MRR: 0.8592 ± 0.0004

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
如何将你的知识图谱嵌入转化为生成模型 | 论文 | HyperAI超神经