摘要

本文重新审视了密集连接卷积网络（DenseNets），并揭示了其在主流残差网络（ResNet）架构中被低估的有效性。我们认为，DenseNets 的潜力之所以被忽视，是因为未经改进的训练方法和传统的设计元素未能充分展示其能力。我们的初步研究表明，通过拼接实现的密集连接非常强大，表明 DenseNets 可以重新焕发活力，与现代架构竞争。我们系统地优化了次优组件——包括架构调整、模块重新设计以及改进的训练方案，旨在拓宽 DenseNets 并提高内存效率，同时保留拼接捷径。最终，我们的模型采用了简单的架构元素，在性能上超过了 Swin Transformer、ConvNeXt 和 DeiT-III 等残差学习谱系中的关键架构。此外，我们的模型在 ImageNet-1K 数据集上表现出接近最先进水平的性能，并且在最近的模型和下游任务如 ADE20k 语义分割和 COCO 目标检测/实例分割中也具有竞争力。最后，我们提供了实证分析，揭示了拼接捷径相对于加性捷径的优势，并引导人们重新关注 DenseNet 风格的设计。我们的代码已发布在 https://github.com/naver-ai/rdnet。