3 个月前

基于连接子图预训练的少样本关系推理

基于连接子图预训练的少样本关系推理

摘要

少样本知识图谱(Knowledge Graph, KG)补全任务旨在对知识图谱进行归纳推理:给定一个新关系 $\bowtie$ 的少量支持三元组(例如,(切菜, $\bowtie$, 厨房)、(阅读, $\bowtie$, 图书馆)),目标是预测该未见关系 $\bowtie$ 的查询三元组(如,(睡觉, $\bowtie$, ?))。当前方法通常将该问题置于元学习(meta-learning)框架下,要求模型首先在大量训练阶段的少样本任务上联合训练,每个任务对应一个独立的关系,从而确保在目标少样本任务上能够实现有效的学习与预测。然而,在真实世界的知识图谱中,构建大量训练任务是一个困难且高度依赖人工的流程。为此,本文提出一种名为连接子图推理器(Connection Subgraph Reasoner, CSR)的新方法,该方法无需在人工构建的训练任务集上进行预训练,即可直接对目标少样本任务做出预测。CSR的核心思想是:受消去归纳(eliminative induction)原则的启发,显式建模支持三元组与查询三元组之间的共享连接子图结构。为了适应特定知识图谱的特性,我们设计了一种相应的自监督预训练机制,其目标是重建由算法自动采样的连接子图。经过该自监督预训练后,模型可直接应用于目标少样本任务,无需额外的少样本任务微调。在真实知识图谱(包括 NELL、FB15K-237 和 ConceptNet)上的大量实验表明,本文框架具有显著有效性:即使不引入任何学习过程(即“无学习”实现),CSR在目标少样本任务上的表现已可与现有方法相媲美;而在引入预训练后,CSR在更具挑战性的归纳型少样本任务中取得了最高达52%的性能提升,尤其当实体在(预)训练阶段也未见时,优势更加明显。

代码仓库

snap-stanford/csr
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-image-classification-on-imagenet-fsKTCH (ResNet-50)
Top-5 Accuracy (%): 58.1
few-shot-image-classification-on-imagenet-fs-1KTCH (ResNet-50)
Top-5 Accuracy (%): 67.3
few-shot-image-classification-on-imagenet-fs-6KTCH (ResNet-50)
Top-5 Accuracy (%): 77.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于连接子图预训练的少样本关系推理 | 论文 | HyperAI超神经