3 个月前

鲁棒优化作为大规模图数据的增强方法

鲁棒优化作为大规模图数据的增强方法

摘要

数据增强通过扩充训练集,有助于神经网络提升泛化能力,但如何有效增强图数据以提升图神经网络(GNN)的性能,仍是当前尚未解决的关键问题。现有大多数图正则化方法主要通过增删边来调整图的拓扑结构,而本文提出一种新方法:通过增强节点特征来提升模型性能。我们提出了FLAG(Free Large-scale Adversarial Augmentation on Graphs),该方法在训练过程中基于梯度生成对抗性扰动,迭代地对节点特征进行增强。通过使模型对输入数据的微小波动保持不变性,该方法显著提升了模型在分布外样本上的泛化能力,并在测试阶段有效增强了模型性能。FLAG是一种通用的图数据增强方法,适用于节点分类、链接预测和图分类等多种任务。该方法具有高度的灵活性与可扩展性,可与任意GNN主干网络结合,并适用于大规模数据集。通过大量实验与消融研究,我们验证了该方法的有效性与稳定性。此外,我们还提供了直观的观察结果,以帮助深入理解该方法的工作机制。

代码仓库

ytchx1999/GCN_res-FLAG
pytorch
GitHub 中提及
devnkong/FLAG
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
graph-property-prediction-on-ogbg-molhivGCN+FLAG
Ext. data: No
Number of params: 527701
Test ROC-AUC: 0.7683 ± 0.0102
Validation ROC-AUC: 0.8176 ± 0.0087
graph-property-prediction-on-ogbg-molhivDeeperGCN+FLAG
Ext. data: No
Number of params: 531976
Test ROC-AUC: 0.7942 ± 0.0120
Validation ROC-AUC: 0.8425 ± 0.0061
graph-property-prediction-on-ogbg-molhivGIN+virtual node+FLAG
Ext. data: No
Number of params: 3336306
Test ROC-AUC: 0.7748 ± 0.0096
Validation ROC-AUC: 0.8438 ± 0.0128
graph-property-prediction-on-ogbg-molhivGIN+FLAG
Ext. data: No
Number of params: 1885206
Test ROC-AUC: 0.7654 ± 0.0114
Validation ROC-AUC: 0.8225 ± 0.0155
graph-property-prediction-on-ogbg-molpcbaGCN+virtual node+FLAG
Ext. data: No
Number of params: 2017028
Test AP: 0.2483 ± 0.0037
Validation AP: 0.2556 ± 0.0040
graph-property-prediction-on-ogbg-molpcbaGIN+FLAG
Ext. data: No
Number of params: 1923433
Test AP: 0.2395 ± 0.0040
Validation AP: 0.2451 ± 0.0042
graph-property-prediction-on-ogbg-molpcbaGCN+FLAG
Ext. data: No
Number of params: 565928
Test AP: 0.2116 ± 0.0017
Validation AP: 0.2150 ± 0.0022
graph-property-prediction-on-ogbg-molpcbaDeeperGCN+virtual node+FLAG
Ext. data: No
Number of params: 5550208
Test AP: 0.2842 ± 0.0043
Validation AP: 0.2952 ± 0.0029
graph-property-prediction-on-ogbg-molpcbaGIN+virtual node+FLAG
Ext. data: No
Number of params: 3374533
Test AP: 0.2834 ± 0.0038
Validation AP: 0.2912 ± 0.0026
graph-property-prediction-on-ogbg-ppaDeeperGCN+FLAG
Ext. data: No
Number of params: 2336421
Test Accuracy: 0.7752 ± 0.0069
Validation Accuracy: 0.7484 ± 0.0052
graph-property-prediction-on-ogbg-ppaGIN+FLAG
Ext. data: No
Number of params: 1836942
Test Accuracy: 0.6905 ± 0.0092
Validation Accuracy: 0.6465 ± 0.0070
graph-property-prediction-on-ogbg-ppaGCN+virtual node+FLAG
Ext. data: No
Number of params: 1930537
Test Accuracy: 0.6944 ± 0.0052
Validation Accuracy: 0.6638 ± 0.0055
graph-property-prediction-on-ogbg-ppaGIN+virtual node+FLAG
Ext. data: No
Number of params: 3288042
Test Accuracy: 0.7245 ± 0.0114
Validation Accuracy: 0.6789 ± 0.0079

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
鲁棒优化作为大规模图数据的增强方法 | 论文 | HyperAI超神经