4 个月前

使用随机变换和扰动进行深度半监督学习的正则化

使用随机变换和扰动进行深度半监督学习的正则化

摘要

有效的卷积神经网络需要在大量标注数据上进行训练。然而,创建大规模标注数据集是一项非常耗时且成本高昂的任务。半监督学习利用未标注数据在有限的标注数据集上训练出具有更高准确率的模型。本文探讨了使用卷积神经网络进行半监督学习的问题。诸如随机数据增强、dropout 和随机最大池化(random max-pooling)等技术为通过梯度下降训练的分类器提供了更好的泛化能力和稳定性。由于这些技术的非确定性行为,单个样本多次通过网络可能会导致不同的预测结果。我们提出了一种无监督损失函数,该函数利用这些方法的随机性质,最小化同一训练样本多次通过网络后的预测差异。我们在多个基准数据集上对所提出的方法进行了评估。

基准测试

基准方法指标
semi-supervised-image-classification-on-cifar-2Ⅱ-Model
Percentage error: 39.19
semi-supervised-image-classification-on-svhn-1Ⅱ-model
Accuracy: 82.35

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用随机变换和扰动进行深度半监督学习的正则化 | 论文 | HyperAI超神经