摘要

归一化方法是卷积神经网络（CNNs）中的重要组成部分。它们通过在预定义的像素集上估计的统计量来标准化或白化数据。与现有针对特定任务设计归一化技术的工作不同，我们提出了一种可切换白化（Switchable Whitening, SW）方法，该方法提供了一种统一的形式，将不同的白化方法和标准化方法整合在一起。SW以端到端的方式学习在这些操作之间进行切换。它具有以下几个优点：首先，SW能够自适应地为不同的任务选择合适的白化或标准化统计量（见图1），使其适用于广泛的任务而无需人工设计；其次，通过整合不同归一化器的优势，SW在各种具有挑战性的基准测试中表现出持续的改进；第三，SW作为一种有用的工具，有助于理解白化和标准化技术的特性。我们在图像分类（CIFAR-10/100、ImageNet）、语义分割（ADE20K、Cityscapes）、域适应（GTA5、Cityscapes）和图像风格迁移（COCO）等多个任务上展示了SW优于其他替代方案的表现。例如，在没有额外技巧的情况下，我们在ADE20K数据集上实现了45.33%的mIoU，达到了当前最佳性能。代码可在https://github.com/XingangPan/Switchable-Whitening 获取。