摘要

卷积神经网络通常将输入图像编码为一系列分辨率逐渐降低的中间特征。尽管这种结构适用于分类任务，但在需要同时进行识别与定位的任务（如目标检测）中表现不佳。为解决这一问题，编码器-解码器架构被提出，其通过在专为分类任务设计的主干网络（backbone）基础上引入解码器网络来实现。本文认为，由于主干网络的尺度逐渐减小，编码器-解码器架构在生成强健的多尺度特征方面存在局限性。为此，我们提出了SpineNet——一种具有尺度混洗（scale-permuted）中间特征和跨尺度连接的主干网络，该网络通过神经架构搜索（Neural Architecture Search）在目标检测任务上进行端到端学习。在采用相似构建模块的前提下，SpineNet模型在不同尺度下相比ResNet-FPN模型性能提升约3%的平均精度（AP），同时计算量（FLOPs）减少10%至20%。特别地，SpineNet-190在不使用测试时增强（test-time augmentation）的情况下，结合Mask R-CNN检测器在COCO数据集上达到52.5%的AP，结合RetinaNet检测器达到52.1%的AP，显著超越此前最优检测模型。此外，SpineNet还可迁移至分类任务，在具有挑战性的iNaturalist细粒度分类数据集上实现5%的Top-1准确率提升。相关代码已开源，地址为：https://github.com/tensorflow/tpu/tree/master/models/official/detection。