4 个月前

使用Cutout改进卷积神经网络的正则化

使用Cutout改进卷积神经网络的正则化

摘要

卷积神经网络能够学习强大的表征空间,这对于解决复杂的机器学习任务是必要的。然而,由于捕捉这些表征所需的模型容量较大,卷积神经网络往往容易过拟合,因此需要适当的正则化以实现良好的泛化性能。在本文中,我们展示了一种简单的正则化技术——即在训练过程中随机遮挡输入图像中的方形区域(称为Cutout),可以用来提高卷积神经网络的鲁棒性和整体性能。该方法不仅极其易于实现,而且我们还证明了它可以与现有的数据增强技术和其他正则化方法结合使用,进一步提升模型性能。我们通过将该方法应用于CIFAR-10、CIFAR-100 和 SVHN 数据集上的当前最先进架构进行评估,分别获得了2.56%、15.20% 和 1.30% 的测试误差新纪录。代码可在 https://github.com/uoguelph-mlrg/Cutout 获取。

代码仓库

uoguelph-mlrg/Cutout
官方
pytorch
GitHub 中提及
kschwethelm/hyperboliccv
pytorch
GitHub 中提及
dishen12/Cuout_modify
pytorch
GitHub 中提及
abcp4/DAPytorch
pytorch
GitHub 中提及
lewis-morris/image_augment
pytorch
GitHub 中提及
LMaxence/Cifar10_Classification
pytorch
GitHub 中提及
khanrc/pt.fractalnet
pytorch
GitHub 中提及
YaCpotato/deepaugmentFix
GitHub 中提及
changewOw/Cutout-numpy
GitHub 中提及
mingsun-tse/good-da-in-kd
pytorch
GitHub 中提及
eaguaida/TF_EnsNet-
tf
GitHub 中提及
ymittal23/PlayWithCifar
tf
GitHub 中提及
Ximilar-com/tf-image
tf
GitHub 中提及
sour4bh/cifar-10
pytorch
GitHub 中提及
barisozmen/deepaugment
GitHub 中提及
lnstadrum/fastaugment
tf
GitHub 中提及

基准测试

基准方法指标
domain-generalization-on-imagenet-aCutout (ResNet-50)
Top-1 accuracy %: 4.4
image-classification-on-stl-10Cutout
Percentage correct: 87.26
image-classification-on-svhnCutout
Percentage error: 1.30
semi-supervised-image-classification-on-stlCutOut
Accuracy: 87.26

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用Cutout改进卷积神经网络的正则化 | 论文 | HyperAI超神经