一句话总结

本文提出扩展批归一化（Extended Batch Normalization, EBN），该方法在保留标准 (N, H, W) 均值计算的同时，对所有 (N, C, H, W) 维度计算标准差以扩大有效样本量，从而在 MNIST、CIFAR-10/100、STL-10 和 ImageNet 数据集上缓解小批次训练导致的性能下降，同时保持与大批次训练相当的精度。

核心贡献

• 提出扩展批归一化（EBN），这是一种归一化方法，旨在解决因内存限制使用小批次训练深度网络时出现的性能下降问题。
• 沿 (N, H, W) 维度计算特征均值以保留标准批归一化的特性，同时沿 (N, C, H, W) 维度计算标准差以扩大方差估计的样本池。
• 在 MNIST、CIFAR-10/100、STL-10 和 ImageNet 数据集上，将 EBN 与批归一化和组归一化进行对比评估，证明 EBN 在缓解小批次限制的同时，能够达到与大批次训练相当的精度。

引言

批归一化是稳定深度神经网络训练的基础技术，对于扩展模型容量和部署到内存受限的边缘设备至关重要。当批次尺寸缩小时，标准实现方法会面临困难，因为不准确的统计估计会导致训练不稳定并降低精度。本文提出扩展批归一化（EBN），该方法在批次和空间维度上保留标准的均值计算，但将标准差计算扩展至包含通道维度。这一简单的调整增加了方差估计的有效样本量，使得小批次训练保持稳定，同时达到传统大批次归一化的性能水平。

方法

本文提出扩展批归一化（EBN），旨在解决小批次尺寸下批归一化的局限性，同时保留其有益特性。EBN 的核心思想在于将均值和标准差的计算从特征张量内的不同像素子集中解耦。对于 NCHW 格式的特征张量（其中 N 为批次维度，C 为通道维度，H 和 W 为空间维度），EBN 沿 (N, H, W) 维度计算均值，这与标准批归一化类似。此选择保留了考虑批次中多个样本的优势，有助于稳定学习过程，并通过采样噪声提供隐式正则化。然而，为了缓解因样本数量少导致的标准差估计不准确问题，EBN 在特征张量的所有像素集上计算标准差，即沿 (N, C, H, W) 维度进行计算。这显著扩大了用于方差计算的样本集，从而得到更稳健、更准确的标准差估计，在批次尺寸较小或空间分辨率较低时尤为有效。

图 1 展示了 EBN 的框架。如图所示，EBN 的均值计算（图 e）与批归一化（BN）相同，沿批次和空间维度（N, H, W）聚合统计量。相比之下，EBN 的标准差计算（图 f）沿整个特征集（N, C, H, W）聚合统计量，图中以包含批次内所有通道的蓝色体积表示。该设计与其他归一化方法形成对比：实例归一化（IN）仅沿空间维度（H, W）计算统计量，层归一化（LN）沿（C, H, W）计算，组归一化（GN）沿（H, W）和一组通道计算。通过为均值和标准差计算使用不同的集合，EBN 实现了批次级统计量优势与较大样本集稳健性之间的平衡。

在推理阶段，EBN 的运作方式与批归一化类似。均值和标准差并非从当前输入计算得出，而是使用训练统计量的滑动平均值预先计算。该过程由公式 $\mu_r^t = (1 - \rho) \mu_r^{t-1} + \rho \mu_b^t$μrt​=(1−ρ)μrt−1​+ρμbt​ 和 $\sigma_r^t = (1 - \rho) \sigma_r^{t-1} + \rho \sigma_b^t$σrt​=(1−ρ)σrt−1​+ρσbt​ 形式化，其中 $\mu_r^t$μrt​ 和 $\sigma_r^t$σrt​ 为运行均值和标准差，$\mu_b^t$μbt​ 和 $\sigma_b^t$σbt​ 为批次统计量，$\rho$ρ 为动量常数。这消除了推理期间逐样本计算的需求，相较于组归一化等方法具有显著优势。此外，由于归一化参数是固定的，EBN 操作可以直接融合到前一个卷积层中，这对于优化资源受限的移动或嵌入式设备上的推理速度非常有利。

实验

实验在多个数据集和架构上，将扩展批归一化（EBN）与标准批归一化（BN）和组归一化（GN）进行对比，以验证其在不同批次设置下的稳定性和精度。结果表明，虽然 BN 和 EBN 在大批次尺寸下性能相当，但当批次尺寸减小时，EBN 始终优于这两种方法。通过缓解 BN 在小批次训练中固有的严重不稳定性及精度下降问题，EBN 成功缩小了性能差距，结合了 BN 的高精度与 GN 的稳健可靠性。

作者在多个数据集和批次尺寸下将扩展批归一化（EBN）与批归一化（BN）和组归一化（GN）进行对比。结果显示，EBN 在大批次尺寸下保持与 BN 相近的性能，而在小批次尺寸下优于 BN 和 GN，证明了其在低批次设置下具有更好的稳定性和精度。EBN 在大批次尺寸下达到与 BN 相似的性能，并在小批次尺寸下优于 BN。在小批次尺寸下，EBN 保持比 BN 更高且更稳定的精度，而 BN 的性能显著下降。在所有批次尺寸和数据集上，EBN 均持续优于 GN，特别是在小批次场景中。

作者在多个数据集和批次尺寸下将扩展批归一化（EBN）与批归一化（BN）和组归一化（GN）进行对比。结果显示，EBN 在大批次尺寸下保持与 BN 相近的性能，而在小批次尺寸下优于 BN 和 GN，证明了其在不同条件下的稳定性和适应性。EBN 在大批次尺寸下达到与 BN 相当的性能，并在小批次尺寸下优于 BN。在使用小批次尺寸时，EBN 提供的结果比 BN 更稳定，尤其是在 BN 表现出显著波动时。在所有批次尺寸和数据集上，EBN 的表现均持续优于 GN，在低批次尺寸场景中提升尤为明显。

作者在多个数据集和批次尺寸下将扩展批归一化（EBN）与批归一化（BN）和组归一化（GN）进行对比。结果显示，EBN 在大批次尺寸下保持与 BN 相近的性能，而在小批次尺寸下优于 BN 和 GN，尤其是在 BN 面临不稳定性及精度下降问题时。EBN 在大批次尺寸下达到与 BN 相当的性能，并在小批次尺寸下优于 BN。在所有批次尺寸和数据集上，EBN 均持续优于 GN。在 BN 因小批次尺寸而失效时，EBN 能够提供稳定且高精度的结果，尤其在 MNIST 和 CIFAR 实验中表现突出。

作者在多个数据集和批次尺寸下将扩展批归一化（EBN）与批归一化（BN）和组归一化（GN）进行对比。结果显示，EBN 在不同批次尺寸下保持稳定的性能，在小批次场景中优于 GN，在大批次设置下达到与 BN 相当的结果。BN 在小批次尺寸下表现出显著的性能下降，而 GN 在不同数据集和批次条件下表现不一致。在小批次尺寸下，EBN 相比 GN 实现了更稳定且更优越的性能。在大批次设置下，EBN 保持与 BN 相近的性能，同时避免了 BN 在小批次下的不稳定性。BN 在小批次尺寸下出现大幅波动和性能下降，而 EBN 和 GN 则表现出更一致的结果。

作者在多个数据集和网络架构下将扩展批归一化（EBN）与批归一化（BN）和组归一化（GN）进行对比。结果显示，EBN 在大批次尺寸下保持与 BN 相近的性能，而在小批次尺寸下优于 BN 和 GN，尤其是在 BN 性能显著下降的场景中。EBN 在低批次尺寸条件下展现出稳定且更优的精度，同时保留了 BN 在较大规模下的优势。EBN 在大批次尺寸下达到与 BN 相当的性能，并在小批次尺寸下优于 BN。在小批次尺寸条件下，EBN 取得了比 BN 和 GN 更稳定且更高的精度。当批次尺寸减小时，EBN 优于 BN 和 GN，尤其是在 BN 性能显著恶化的情况下。

作者评估了扩展批归一化与标准批归一化及组归一化在多个数据集、架构和批次尺寸下的表现，以评估其在不同计算约束下的训练稳定性和精度。这些实验验证了扩展批归一化在大批次尺寸下保留了标准批归一化的高性能，同时有效消除了其在小批次设置下典型的精度下降和波动。该方法在所有测试配置中均持续超越组归一化，证明了其在不同批次尺寸下具有强大的适应能力和可靠的收敛性。最终，研究结果确立了扩展批归一化作为一种稳定、通用的替代方案，在克服传统归一化技术低批次场景局限性的同时，保持了大规模训练的效率。