4 个月前

插值一致性训练在半监督学习中的应用

插值一致性训练在半监督学习中的应用

摘要

我们介绍了插值一致性训练(Interpolation Consistency Training, ICT),这是一种在半监督学习范式下训练深度神经网络的简单且计算高效的算法。ICT鼓励对未标记点的插值预测与这些点上的预测插值保持一致。在分类问题中,ICT将决策边界移动到数据分布的低密度区域。我们的实验表明,当将ICT应用于CIFAR-10和SVHN基准数据集上的标准神经网络架构时,它能够实现最先进的性能。理论分析显示,ICT相当于一种基于未标记点的数据自适应正则化方法,该方法在高置信度值下减少了对已标记点的过拟合现象。

代码仓库

kevinghst/ICT
pytorch
GitHub 中提及
vikasverma1077/ICT
官方
pytorch
GitHub 中提及
yanzhicong/mixup_ssl
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-image-classification-on-cifarICT (CNN-13)
Percentage error: 7.29
semi-supervised-image-classification-on-cifarICT (WRN-28-2)
Percentage error: 7.66
semi-supervised-image-classification-on-cifar-11ICT (CNN-13)
Accuracy: 84.52
semi-supervised-image-classification-on-cifar-12ICT (CNN-13)
Accuracy: 90.74
semi-supervised-image-classification-on-svhnICT (WRN-28-2)
Accuracy: 96.47
semi-supervised-image-classification-on-svhnICT
Accuracy: 96.11

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
插值一致性训练在半监督学习中的应用 | 论文 | HyperAI超神经