HyperAIHyperAI

Command Palette

Search for a command to run...

专家混合模型与解耦消息传递相结合:迈向通用和自适应节点分类

Xuanze Chen Jiajun Zhou Shanqing Yu Qi Yuan

摘要

图神经网络在图表示学习方面表现出色,但在异质数据和长距离依赖问题上存在困难。而图变换器通过自注意力机制解决了这些问题,但在大规模图上却面临着可扩展性和噪声挑战。为克服这些限制,我们提出了一种用于节点分类的通用模型架构——GNNMoE(Mixture of Experts in Graph Neural Networks)。该架构灵活地结合了细粒度的消息传递操作与专家混合机制来构建特征编码块。此外,通过引入软门控层和硬门控层,将最合适的专家网络分配给每个节点,从而增强了模型的表达能力和对不同类型图的适应性。我们还在GNNMoE中引入了自适应残差连接和增强的前馈神经网络模块(FFN),进一步提升了节点表示的表达能力。大量的实验结果表明,GNNMoE在各种类型的图数据上表现优异,有效缓解了过平滑问题和全局噪声,提高了模型的鲁棒性和适应性,同时在大规模图上保证了计算效率。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供