
摘要
在本研究中,我们提出采用信息几何工具来优化图神经网络架构,例如图卷积网络(Graph Convolutional Networks)。具体而言,我们通过在优化过程中引入自然梯度信息,为基于图的半监督学习问题设计了相应的优化算法。该方法能够高效利用底层统计模型或参数空间的几何结构,从而提升优化与推断的效率。据我们所知,这是首次将自然梯度应用于图神经网络优化的研究,且该方法可拓展至其他半监督学习任务。为此,我们开发了高效的计算算法,并开展了广泛的数值实验,结果表明,所提出的算法在性能上显著优于现有的ADAM和SGD等优化方法。
代码仓库
russellizadi/ssp
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| node-classification-on-citeseer | SSP | Accuracy: 80.52 ± 0.14 |
| node-classification-on-citeseer-with-public | SSP | Accuracy: 74.28 ± 0.67% |
| node-classification-on-cora | SSP | Accuracy: 90.16% ± 0.59% |
| node-classification-on-cora-with-public-split | SSP | Accuracy: 82.84 ± 0.87% |
| node-classification-on-pubmed | SSP | Accuracy: 89.36 ± 0.57 |
| node-classification-on-pubmed-with-public | SSP | Accuracy: 80.06 ± 0.34% |