摘要

近年来，许多深度学习模型在ImageNet上的准确率已超过ResNet50，同时所需的浮点运算次数（FLOPs）更少或相当。尽管FLOPs常被视为网络效率的代理指标，但在实际GPU训练与推理吞吐量的衡量中，原始的ResNet50通常显著快于其近期的同类模型，展现出更优的准确率-吞吐量权衡。在本研究中，我们提出了一系列架构改进方法，旨在提升神经网络的准确率，同时保持其在GPU上的训练与推理效率。我们首先分析并讨论了由FLOPs优化所引发的性能瓶颈。随后，提出了一种更充分利用GPU架构特性和资源的替代设计思路。最终，我们推出了一类专为GPU优化的新型模型家族——TResNet，在准确率与效率方面均优于以往的卷积神经网络（ConvNet）。采用与ResNet50相当GPU吞吐量的TResNet模型，我们在ImageNet上实现了80.8%的Top-1准确率。此外，TResNet模型在迁移学习任务中表现优异，在多个具有竞争力的单标签分类数据集上达到当前最优性能，包括斯坦福汽车数据集（96.0%）、CIFAR-10（99.0%）、CIFAR-100（91.5%）以及Oxford-Flowers（99.1%）。该模型在多标签分类和目标检测任务中也表现出色。相关代码实现已开源，地址为：https://github.com/mrT23/TResNet。