摘要

我们提出一种全新的神经网络设计范式——可逆列网络（Reversible Column Network，简称 RevCol）。RevCol 的主体结构由多个子网络（称为“列”）的复制体构成，各列之间采用多层级的可逆连接机制。这种架构设计使 RevCol 在行为上与传统网络显著不同：在前向传播过程中，特征在逐列传递时被逐步解耦，而整体信息得以完整保留，而非像其他网络那样被压缩或丢弃。实验结果表明，基于 CNN 架构的 RevCol 模型在多个计算机视觉任务中均展现出极具竞争力的性能，包括图像分类、目标检测和语义分割，尤其在参数量较大、训练数据丰富的条件下表现突出。例如，在 ImageNet-22K 上预训练后，RevCol-XL 在 ImageNet-1K 上达到 88.2% 的准确率；当使用更大规模的预训练数据时，我们最大的模型 RevCol-H 在 ImageNet-1K 上达到 90.0% 的准确率，在 COCO 检测 minival 集上实现 63.8% 的 APbox，在 ADE20k 语义分割任务上达到 61.0% 的 mIoU。据我们所知，这是目前纯（静态）CNN 模型在 COCO 检测和 ADE20k 分割任务上的最优结果。此外，作为一种通用的宏观架构范式，RevCol 也可灵活应用于 Transformer 或其他类型的神经网络中，并在计算机视觉与自然语言处理（NLP）任务中均被证明能够有效提升模型性能。相关代码与模型已开源，欢迎访问：https://github.com/megvii-research/RevCol