3 个月前

ResNet强势回归:timm中的改进训练流程

ResNet强势回归:timm中的改进训练流程

摘要

由何恺明等人提出的具有重要影响力的残差网络(Residual Networks, ResNet)至今仍是众多科研论文中的黄金标准架构。这类网络通常作为研究中的默认架构,或在提出新型网络结构时作为基准模型。然而,自2015年ResNet架构问世以来,神经网络训练的最佳实践已取得显著进展。新型优化方法与数据增强技术显著提升了训练方案的有效性。本文重新评估了在融合这些最新进展的训练流程下,原始ResNet-50模型的性能表现。我们将在开源库timm中分享具有竞争力的训练配置及预训练模型,期望这些资源能为未来的研究提供更优的基准参考。例如,在我们更为严格的训练设置下,未经额外数据或知识蒸馏的原始ResNet-50模型在ImageNet验证集上以224×224分辨率达到了80.4%的Top-1准确率。此外,我们还报告了在该训练流程下,多种主流模型所取得的性能表现。

基准测试

基准方法指标
classification-on-indlResNetV2_50
Average Recall: 88.08%
domain-generalization-on-vizwizResNet-50 (gn)
Accuracy - All Images: 48.9
Accuracy - Clean Images: 44.4
Accuracy - Corrupted Images: 39.1
fine-grained-image-classification-on-oxfordResNet50 (A1)
Accuracy: 97.9%
FLOPS: 4.1
PARAMS: 24M
fine-grained-image-classification-on-stanfordResNet50 (A1)
Accuracy: 92.7%
FLOPS: 4.1B
PARAMS: 24M
image-classification-on-cifar-10cvpr_class
Percentage correct: 85.28
image-classification-on-cifar-10ResNet50 (A1)
Percentage correct: 98.3
image-classification-on-cifar-100ResNet50 (A1)
PARAMS: 25M
Percentage correct: 86.9
image-classification-on-flowers-102ResNet50 (A1)
Accuracy: 97.9
FLOPS: 4.1
PARAMS: 25M
image-classification-on-imagenetDeiT-S (T2)
Number of params: 22M
Top 1 Accuracy: 80.4%
image-classification-on-imagenetResNet-152 (A2 + reg)
Number of params: 60.2M
Top 1 Accuracy: 82.4%
image-classification-on-imagenetResNet-152 (A2)
Number of params: 60.2M
Top 1 Accuracy: 81.8%
image-classification-on-imagenetResNet50 (A3)
Number of params: 25M
Top 1 Accuracy: 78.1%
image-classification-on-imagenetResNet50 (A1)
Number of params: 25M
Top 1 Accuracy: 80.4%
image-classification-on-imagenet-realResNet50 (A1)
Accuracy: 85.7%
Params: 25M
image-classification-on-imagenet-v2ResNet50 (A1)
Top 1 Accuracy: 68.7
image-classification-on-inaturalist-2019ResNet50 (A2)
Top-1 Accuracy: 75.0
medical-image-classification-on-nct-crc-heResNeXt-50-32x4d
Accuracy (%): 95.46
F1-Score: 97.46
Precision: 99.91
Specificity: 99.43

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ResNet强势回归:timm中的改进训练流程 | 论文 | HyperAI超神经