3 个月前

借助迁移学习实现通用图神经网络嵌入的学习

借助迁移学习实现通用图神经网络嵌入的学习

摘要

学习强大的数据嵌入(data embeddings)已成为机器学习领域的核心任务,尤其在自然语言处理与计算机视觉领域表现突出。这些嵌入技术的关键在于:它们通过无监督方式在大规模语料库上进行预训练,有时结合迁移学习加以增强。然而,当前图学习领域中的图神经网络(GNN)所学习到的嵌入表示具有任务依赖性,因而难以在不同数据集之间共享。本文提出一种全新的、具备理论保障的图神经网络模型,旨在学习与任务无关的图嵌入,该模型称为深度通用图嵌入(Deep Universal Graph Embedding, DUGNN)。DUGNN模型创新性地结合了一种新型图神经网络(作为通用图编码器),并利用丰富的图核(Graph Kernels)作为多任务图解码器,实现无监督学习以及针对特定任务的自适应监督学习。通过在多种数据集上学习与任务无关的图嵌入,DUGNN亦能充分受益于迁移学习的优势。通过大量实验与消融研究,我们证明所提出的DUGNN模型在图分类基准数据集上的表现显著优于现有最先进的GNN模型及图核方法,准确率提升达3%至8%。

基准测试

基准方法指标
graph-classification-on-collabDUGNN
Accuracy: 84.20%
graph-classification-on-ddDUGNN
Accuracy: 82.40%
graph-classification-on-enzymesDUGNN
Accuracy: 67.30%
graph-classification-on-imdb-bDUGNN
Accuracy: 78.70%
graph-classification-on-imdb-mDUGNN
Accuracy: 56.10%
graph-classification-on-proteinsDUGNN
Accuracy: 81.70%
graph-classification-on-ptcDUGNN
Accuracy: 74.7%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
借助迁移学习实现通用图神经网络嵌入的学习 | 论文 | HyperAI超神经