HyperAIHyperAI

Command Palette

Search for a command to run...

DenseNets 重载:超越 ResNets 和 ViTs 的范式转变

Donghyun Kim Byeongho Heo Dongyoon Han

摘要

本文重新审视了密集连接卷积网络(DenseNets),并揭示了其在主流残差网络(ResNet)架构中被低估的有效性。我们认为,DenseNets 的潜力之所以被忽视,是因为未经改进的训练方法和传统的设计元素未能充分展示其能力。我们的初步研究表明,通过拼接实现的密集连接非常强大,表明 DenseNets 可以重新焕发活力,与现代架构竞争。我们系统地优化了次优组件——包括架构调整、模块重新设计以及改进的训练方案,旨在拓宽 DenseNets 并提高内存效率,同时保留拼接捷径。最终,我们的模型采用了简单的架构元素,在性能上超过了 Swin Transformer、ConvNeXt 和 DeiT-III 等残差学习谱系中的关键架构。此外,我们的模型在 ImageNet-1K 数据集上表现出接近最先进水平的性能,并且在最近的模型和下游任务如 ADE20k 语义分割和 COCO 目标检测/实例分割中也具有竞争力。最后,我们提供了实证分析,揭示了拼接捷径相对于加性捷径的优势,并引导人们重新关注 DenseNet 风格的设计。我们的代码已发布在 https://github.com/naver-ai/rdnet


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DenseNets 重载:超越 ResNets 和 ViTs 的范式转变 | 论文 | HyperAI超神经