Guohao LiMatthias MüllerGuocheng QianItzel C. DelgadilloAbdulellah AbualshourAli ThabetBernard Ghanem

摘要
卷积神经网络(Convolutional Neural Networks, CNNs)在诸多计算机视觉任务中取得了巨大成功,例如目标分类与检测、语义分割、行为理解等。其卓越性能的关键因素之一在于能够训练非常深的网络结构。尽管CNN在众多任务中表现优异,但在处理非欧几里得数据方面表现不佳,而这类数据在许多现实应用场景中广泛存在。图卷积网络(Graph Convolutional Networks, GCNs)为此提供了一种替代方案,使神经网络能够直接处理非欧几里得数据。尽管GCNs已取得令人鼓舞的成果,但其当前架构通常受限于较浅的层数,主要原因在于训练过程中梯度消失问题。本文将CNN中的残差连接(residual connections)、密集连接(dense connections)以及空洞卷积(dilated convolutions)等关键概念引入GCNs,从而成功实现了超深图卷积网络的训练。实验结果表明,使用深度GCNs(最多达112层)在多个数据集和任务上均展现出显著优势。具体而言,在点云数据上的部件分割与语义分割任务,以及生物蛋白-蛋白相互作用(Protein-Protein Interaction, PPI)图中的蛋白质功能节点分类任务中,均取得了极具前景的性能表现。我们相信,本研究所提供的洞见将为未来GCN研究开辟新的方向,并推动其在本文未涵盖的更多任务中的应用。本工作的源代码已开源,PyTorch实现地址为:https://github.com/lightaime/deep_gcns_torch,TensorFlow实现地址为:https://github.com/lightaime/deep_gcns。
代码仓库
lightaime/deep_gcns_torch/tree/master/examples/ogb
pytorch
GitHub 中提及
lightaime/deep_gcns_torch
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-point-cloud-classification-on-modelnet40 | DeepGCN | Mean Accuracy: 90.9 Number of params: 2.2M Overall Accuracy: 93.6 |
| 3d-semantic-segmentation-on-partnet | DeepGCN | mIOU: 45.1 |
| node-classification-on-ppi | DenseMRGCN-14 | F1: 99.43 |
| node-classification-on-ppi | ResMRGCN-28 | F1: 99.41 |
| semantic-segmentation-on-s3dis | DeepGCN | Mean IoU: 60.0 Number of params: N/A oAcc: 85.9 |
| semantic-segmentation-on-s3dis-area5 | DeepGCN | Number of params: N/A mIoU: 52.49 |