摘要

图上的半监督学习是机器学习领域中的一个重要问题。近年来，基于图神经网络（GNNs）的先进分类方法在性能上已显著优于传统方法（如标签传播）。然而，这些神经网络模型通常具有复杂的架构，导致其预测机制过于复杂，难以充分挖掘数据中蕴含的宝贵先验知识，例如结构上相关的节点往往属于同一类别。针对上述问题，本文提出一种基于知识蒸馏的框架。该框架从任意训练好的GNN模型（教师模型）中提取知识，并将其注入到一个精心设计的学生模型中。学生模型采用两种简洁的预测机制——标签传播与特征变换，分别自然地保留了基于结构的先验知识和基于特征的先验知识。具体而言，我们设计的学生模型为可训练的参数化标签传播模块与特征变换模块的组合。由此，所学习的学生模型能够同时受益于先验知识以及教师GNN模型所蕴含的知识，实现更高效的预测。此外，相比GNN模型，该学生模型的预测过程具有更强的可解释性。我们在五个公开的基准数据集上进行了实验，采用七种GNN模型（包括GCN、GAT、APPNP、SAGE、SGC、GCNII和GLP）作为教师模型。实验结果表明，所学习的学生模型在平均性能上 consistently 超过其对应的教师模型1.4%至4.7%。代码与数据已公开于：https://github.com/BUPT-GAMMA/CPF