摘要

在当代计算机视觉应用中，特别是在图像分类领域，通常会使用在大型数据集（如ImageNet）上预训练的架构骨干作为特征提取器。尽管这些预训练的卷积神经网络（CNNs）被广泛使用，但对于各种资源高效骨干在不同领域和数据集大小下的性能理解仍存在差距。我们的研究系统地评估了多个轻量级、预训练的CNN骨干，在多种数据集上进行了统一的训练设置，包括自然图像、医学图像、星系图像和遥感图像。这一全面分析旨在帮助机器学习从业者为其特定问题选择最合适的骨干架构，尤其是在涉及小数据集的情况下，微调预训练网络至关重要。尽管基于注意力机制的架构越来越受欢迎，但我们观察到它们在低数据微调任务中的表现往往不如CNNs。我们还发现，某些CNN架构（如ConvNeXt、RegNet和EfficientNet）在多个领域的多样化数据集中表现出色且稳定。我们的研究结果提供了关于不同骨干架构性能权衡和有效性的实际见解，有助于在广泛的计算机视觉领域中进行有根据的模型选择决策。我们的代码可在以下链接获取：https://github.com/pranavphoenix/Backbones