摘要

近年来，预训练-微调范式因其在缓解现实应用场景中标签稀缺问题方面的强大能力，受到图学习领域广泛关注。现有研究多借鉴图像或文本数据中的已有技术，如权重约束、表示约束等，试图将预训练阶段获得的不变性知识迁移至微调阶段。然而，这些方法未能有效保留图结构特性以及图神经网络（GNN）模型所固有的不变性。针对这一问题，本文提出一种基于最优传输（Optimal Transport, OT）的新型微调框架——GTOT-Tuning（Graph Topology-induced Optimal Transport fine-Tuning），专为GNN类骨干网络设计。GTOT-Tuning充分利用图数据的拓扑特性，以增强微调后网络所生成表示的不变性保持能力。为此，我们将局部图知识迁移建模为带有结构先验的最优传输问题，并构建了GTOT正则项，用于约束微调模型的行为。通过利用节点间的邻接关系，GTOT正则项实现了节点级别的最优传输过程，有效减少了冗余的传输操作，从而提升了从预训练模型到微调阶段的知识迁移效率。我们在八项不同的下游任务上，采用多种GNN骨干网络对GTOT-Tuning进行了评估，结果表明，该方法在GNN微调性能方面达到了当前最优水平。