HyperAIHyperAI

Command Palette

Search for a command to run...

图卷积网络的互教机制

Kun Zhan Chaoxi Niu

摘要

图卷积网络(Graph Convolutional Networks)因其具备归纳式标签传播能力,能够对未标记样本产生良好的预测结果。由于不同样本的预测置信度存在差异,我们选取高置信度的预测结果作为伪标签,以扩展标签集合,从而筛选出更多样本用于模型更新。为此,我们提出一种名为“互教学习”(Mutual Teaching)的新训练方法:即训练两个互为协作的模型,并在每个训练批次中让二者相互指导。具体而言,首先,每个网络对所有样本进行前向传播,并挑选出预测置信度较高的样本;其次,每个模型利用其对应网络所选出的样本进行参数更新。我们将高置信度的预测视为有效知识,通过在每个训练批次中结合模型更新,使一个网络的有效知识传递给另一个网络。在互教学习机制中,某一网络的伪标签集合来源于其对端网络的预测结果。由于采用了这一新颖的网络训练策略,模型性能得到显著提升。大量实验结果表明,在极低标签比例条件下,本方法在各项指标上均优于当前最先进的方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图卷积网络的互教机制 | 论文 | HyperAI超神经