HyperAIHyperAI

Command Palette

Search for a command to run...

通过图拓扑诱导的最优传输微调图神经网络

Jiying Zhang Xi Xiao Long-Kai Huang Yu Rong Yatao Bian

摘要

近年来,预训练-微调范式因其在缓解现实应用场景中标签稀缺问题方面的强大能力,受到图学习领域广泛关注。现有研究多借鉴图像或文本数据中的已有技术,如权重约束、表示约束等,试图将预训练阶段获得的不变性知识迁移至微调阶段。然而,这些方法未能有效保留图结构特性以及图神经网络(GNN)模型所固有的不变性。针对这一问题,本文提出一种基于最优传输(Optimal Transport, OT)的新型微调框架——GTOT-Tuning(Graph Topology-induced Optimal Transport fine-Tuning),专为GNN类骨干网络设计。GTOT-Tuning充分利用图数据的拓扑特性,以增强微调后网络所生成表示的不变性保持能力。为此,我们将局部图知识迁移建模为带有结构先验的最优传输问题,并构建了GTOT正则项,用于约束微调模型的行为。通过利用节点间的邻接关系,GTOT正则项实现了节点级别的最优传输过程,有效减少了冗余的传输操作,从而提升了从预训练模型到微调阶段的知识迁移效率。我们在八项不同的下游任务上,采用多种GNN骨干网络对GTOT-Tuning进行了评估,结果表明,该方法在GNN微调性能方面达到了当前最优水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供