4 个月前

用于3D分子性质预测及更广泛领域的简单GNN正则化方法

用于3D分子性质预测及更广泛领域的简单GNN正则化方法

摘要

在本文中,我们展示了简单的噪声正则化可以成为解决图神经网络(GNN)过平滑问题的有效方法。首先,我们认为针对过平滑的正则化方法应该既惩罚节点潜在表示的相似性,又鼓励有意义的节点表示。基于这一观察,我们提出了“噪声节点”(Noisy Nodes),这是一种简单的方法,通过在输入图中引入噪声,并添加一个节点级别的噪声校正损失来实现。多样化的节点级损失促进了节点潜在表示的多样性,而降噪目标则促进了图流形学习。我们的正则化方法以简单直接的方式应用了经过充分研究的技术,使得即使是通用架构也能克服过平滑问题,并在量子化学任务上取得最先进的结果,在Open Graph Benchmark(OGB)数据集上的表现也显著提升。我们的结果表明,“噪声节点”可以作为图神经网络工具箱中的一个补充组件。

代码仓库

Namkyeong/NoisyNodes_Pytorch
pytorch
GitHub 中提及

基准测试

基准方法指标
initial-structure-to-relaxed-energy-is2re-onNoisy Nodes
Energy MAE: 0.47225

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于3D分子性质预测及更广泛领域的简单GNN正则化方法 | 论文 | HyperAI超神经