4 个月前

图对抗训练:基于图结构的动态正则化

图对抗训练:基于图结构的动态正则化

摘要

最近的研究表明,神经网络在视觉分类任务中容易受到输入特征上的微小但有意的扰动的影响。由于图中的示例之间存在额外的关联(例如,具有引用链接的文章往往属于同一类别),图神经网络可能对这些扰动更加敏感,因为连接示例的扰动会加剧对目标示例的影响。对抗训练(Adversarial Training, AT)是一种动态正则化技术,可以抵御输入特征上的最坏情况扰动,是提高模型鲁棒性和泛化能力的一种有前景的方法。然而,现有的对抗训练方法主要集中在标准分类上,在图数据上训练模型时效果较差,因为它没有建模来自连接示例的影响。在这项工作中,我们探索了图上的对抗训练,旨在提高在图数据上学到的模型的鲁棒性和泛化能力。我们提出了图对抗训练(Graph Adversarial Training, GraphAT),该方法在学习构建和抵抗扰动时考虑了连接示例的影响。我们给出了GraphAT的一般公式,可以将其视为基于图结构的动态正则化方案。为了展示GraphAT的有效性,我们在最先进的图神经网络模型——图卷积网络(Graph Convolutional Network, GCN)上应用了这一方法。我们在两个引文图(Citeseer 和 Cora)以及一个知识图谱(NELL)上进行了实验,验证了GraphAT的有效性,在节点分类准确性方面比常规训练提高了4.51%。代码可通过以下链接获取:https://github.com/fulifeng/GraphAT。

代码仓库

fulifeng/GraphAT
官方
tf
GitHub 中提及

基准测试

基准方法指标
node-classification-on-citeseerGraphVAT
Accuracy: 73.7%
node-classification-on-coraGraphVAT
Accuracy: 82.6%
node-classification-on-nellGraphVAT
Accuracy: 64.7%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图对抗训练:基于图结构的动态正则化 | 论文 | HyperAI超神经