3 个月前

图熵最小化用于半监督节点分类

图熵最小化用于半监督节点分类

摘要

节点分类器在工业应用中需同时实现预测误差、训练资源消耗与推理延迟的全面优化。然而,当前大多数图神经网络(GNN)仅关注其中一至两个方面,导致其他方面成为制约整体性能的“短板”,严重阻碍其在工业级任务中的实际部署。为此,本文提出一种新颖的半监督学习方法——图熵最小化(Graph Entropy Minimization, GEM),可同步解决上述三大挑战。GEM通过利用大量未标注节点进行单跳聚合,其预测精度可媲美采用两跳或更多跳消息传递机制的GNN。该方法具备可分解特性,支持基于独立边样本的随机训练与小批量处理,实现极快的采样速度与显著的内存节省。在推理阶段,由于仅采用单跳聚合,其速度优于深层GNN;更进一步地,通过在线知识蒸馏技术推导出无跳数(non-hop)分类器,可实现极致加速。因此,GEM成为在资源受限硬件上运行、对延迟敏感且对误差容忍度低的服务的理想选择。代码已开源,地址为:https://github.com/cf020031308/GEM。

代码仓库

cf020031308/gem
官方
pytorch

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图熵最小化用于半监督节点分类 | 论文 | HyperAI超神经