摘要

大多数最先进的图神经网络（GNNs）可以定义为一种图卷积形式，这种卷积可以通过直接邻居之间的消息传递或更远的邻居来实现。为了将这些GNNs扩展到大型图上，提出了各种基于邻居、层或子图的采样技术，通过仅考虑传递给小批量节点的一小部分消息来缓解“邻居爆炸”问题。然而，基于采样的方法难以应用于每层利用多跳距离或全局上下文的GNNs，对于不同的任务和数据集表现出不稳定性能，并且不能加速模型推理。我们提出了一种原则性和根本不同的方法——VQ-GNN，这是一种通用框架，使用向量量化（VQ）技术在不牺牲性能的情况下扩展任何基于卷积的GNNs。与基于采样的技术不同，我们的方法通过学习和更新少量全局节点表示的量化参考向量，在每个GNN层内使用VQ，从而有效保留传递给小批量节点的所有消息。我们的框架通过结合量化表示和图卷积矩阵的低秩版本来避免GNNs的“邻居爆炸”问题。我们从理论上和实验上证明了这种巨大的卷积矩阵的紧凑低秩版本是足够的。结合VQ技术，我们设计了一种新颖的消息传递算法和一个非平凡的反向传播规则。实验结果表明，我们的框架在大型图节点分类和链接预测基准测试中具有可扩展性和竞争力。