3 个月前

基于自然梯度下降的图神经网络优化

基于自然梯度下降的图神经网络优化

摘要

在本研究中,我们提出采用信息几何工具来优化图神经网络架构,例如图卷积网络(Graph Convolutional Networks)。具体而言,我们通过在优化过程中引入自然梯度信息,为基于图的半监督学习问题设计了相应的优化算法。该方法能够高效利用底层统计模型或参数空间的几何结构,从而提升优化与推断的效率。据我们所知,这是首次将自然梯度应用于图神经网络优化的研究,且该方法可拓展至其他半监督学习任务。为此,我们开发了高效的计算算法,并开展了广泛的数值实验,结果表明,所提出的算法在性能上显著优于现有的ADAM和SGD等优化方法。

代码仓库

russellizadi/ssp
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
node-classification-on-citeseerSSP
Accuracy: 80.52 ± 0.14
node-classification-on-citeseer-with-publicSSP
Accuracy: 74.28 ± 0.67%
node-classification-on-coraSSP
Accuracy: 90.16% ± 0.59%
node-classification-on-cora-with-public-splitSSP
Accuracy: 82.84 ± 0.87%
node-classification-on-pubmedSSP
Accuracy: 89.36 ± 0.57
node-classification-on-pubmed-with-publicSSP
Accuracy: 80.06 ± 0.34%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于自然梯度下降的图神经网络优化 | 论文 | HyperAI超神经