摘要

深度神经网络的正则化一直是提高泛化性能、避免过拟合问题的重要课题。尽管常用的Dropout方法提供了正则化效果，但它会导致输出的不一致性，从而可能降低深度神经网络的性能。在本研究中，我们提出了一种新的模块，称为随机平均池化（Stochastic Average Pooling），该模块在池化过程中引入了类似Dropout的随机性。我们描述了随机子采样和平均池化的特性，并利用这些特性设计了一个不存在任何不一致性问题的模块。随机平均池化在不引起因不一致性导致的潜在性能下降的情况下实现了正则化效果，并且可以轻松地集成到现有的深度神经网络架构中。实验结果表明，将现有的平均池化替换为随机平均池化，在多种任务、数据集和模型上均能带来一致性的性能提升。