摘要

图神经网络（Graph Neural Networks, GNNs）在图机器学习任务中广受欢迎，并在广泛的节点分类任务中展现出优异性能。然而，由于其固有的数据依赖性带来的可扩展性挑战，GNNs在工业实际部署中仍相对较少使用。具体而言，GNN推理需要访问目标节点多跳以外的邻居节点，这一过程在延迟敏感的应用场景中会显著增加延迟。现有的推理加速方法（如剪枝和量化）虽可通过减少乘加（MAC）运算量提升GNN的运行速度，但由于未能解决根本的数据依赖问题，性能提升仍受限。相比之下，多层感知机（MLPs）不依赖图结构，在推理速度上远超GNNs，尽管其在一般节点分类任务中的准确率通常低于GNNs。基于GNN与MLP在性能与效率上的互补特性，本文提出通过知识蒸馏（Knowledge Distillation, KD）将二者结合。实验结果表明，通过GNN知识蒸馏，MLP的性能可获得显著提升。我们将经过蒸馏的MLP称为“无图神经网络”（Graph-less Neural Networks, GLNNs），因其在推理阶段不再依赖图结构。实验显示，GLNNs在保持与GNN相当的准确率的同时，推理速度比GNN快146至273倍，且相比其他加速方法也快14至27倍。在涵盖7个数据集、包含归纳式与直推式预测的生产级场景下，GLNNs的平均准确率比独立使用的MLPs提升12.36%，并在其中6个数据集上达到与GNN相当的性能。全面的分析揭示了GLNNs能够实现与GNN相媲美准确率的关键条件与机制，表明GLNNs是延迟敏感场景下的理想选择，具备高度实用价值。