4 个月前

随机池化用于深度卷积神经网络的正则化

随机池化用于深度卷积神经网络的正则化

摘要

我们介绍了一种简单而有效的方法,用于正则化大型卷积神经网络。该方法将传统的确定性池化操作替换为随机过程,即在每个池化区域内根据多项分布(由池化区域内的活动值决定)随机选择激活值。此方法无需设置超参数,并且可以与其他正则化方法(如丢弃法和数据增强)结合使用。在四个图像数据集上,我们的方法在不使用数据增强的情况下达到了当前最佳性能。

代码仓库

szagoruyko/imagine-nn
pytorch
GitHub 中提及

基准测试

基准方法指标
image-classification-on-cifar-10Stochastic Pooling
Percentage correct: 84.9
image-classification-on-cifar-100Stochastic Pooling
Percentage correct: 57.5
image-classification-on-svhnStochastic Pooling
Percentage error: 2.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
随机池化用于深度卷积神经网络的正则化 | 论文 | HyperAI超神经