
摘要
特征金字塔在最先进的单阶段目标检测器(如DSSD、RetinaNet、RefineDet)和两阶段目标检测器(如Mask R-CNN、DetNet)中被广泛利用,以缓解不同目标实例间尺度变化带来的问题。尽管这些带有特征金字塔的目标检测器取得了令人鼓舞的结果,但由于它们仅根据骨干网络固有的多尺度、金字塔结构简单构建特征金字塔,而这些骨干网络实际上是为了对象分类任务设计的,因此存在一些局限性。在这项工作中,我们提出了一种称为多级特征金字塔网络(MLFPN)的方法,用于构建更有效的特征金字塔,以检测不同尺度的目标。首先,我们将骨干网络提取的多级特征(即多个层)融合为基底特征。其次,将基底特征输入到由交替连接的稀疏U形模块和特征融合模块组成的块中,并利用每个U形模块的解码层作为目标检测的特征。最后,我们将具有相同尺度(大小)的解码层汇集起来,开发出一个用于目标检测的特征金字塔,在该金字塔中每个特征图都包含来自多个层次的层(特征)。为了评估所提出的MLFPN的有效性,我们设计并训练了一个强大的端到端单阶段目标检测器——M2Det,通过将其集成到SSD架构中来实现更好的检测性能。具体而言,在MS-COCO基准测试中,M2Det在单尺度推理策略下达到了11.8 FPS的速度和41.0的AP值,在多尺度推理策略下则达到了44.2的AP值,这是目前单阶段检测器中的最新最佳结果。代码将在\url{https://github.com/qijiezhao/M2Det}上公开提供。
代码仓库
taashi-s/M2Det_keras
GitHub 中提及
Mind23-2/MindCode-3/tree/main/m2det
mindspore
LeeDongYeun/keras-m2det
tf
GitHub 中提及
true-source/m2det-tf
tf
GitHub 中提及
cjpurackal/m2det-tf
tf
GitHub 中提及
CVUsers/Smart-Retail-By-Efficientdet
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| object-detection-on-coco | M2Det (VGG-16, multi-scale) | AP50: 64.6 AP75: 49.3 APL: 55.1 APM: 47.9 APS: 29.2 Hardware Burden: 34G Operations per network pass: box mAP: 44.2 |
| object-detection-on-coco | M2Det (VGG-16, single-scale) | AP50: 59.7 AP75: 45 APL: 53.8 APM: 46.5 APS: 22.1 Hardware Burden: 34G Operations per network pass: box mAP: 41.0 |
| object-detection-on-coco | M2Det (ResNet-101, multi-scale) | AP50: 64.4 AP75: 48 APL: 54.3 APM: 49.6 APS: 29.6 Hardware Burden: 27G Operations per network pass: box mAP: 43.9 |
| object-detection-on-coco | M2Det (ResNet-101, single-scale) | AP50: 59.4 AP75: 41.7 APL: 53.4 APM: 43.9 APS: 20.5 Hardware Burden: 27G Operations per network pass: box mAP: 38.8 |
| object-detection-on-coco-minival | M2Det (ResNet-1o1, 320x320) | AP50: 53.7 APL: 49.3 APM: 39.5 APS: 15.9 box AP: 34.1 |
| object-detection-on-coco-minival | M2Det (VGG-16, 320x320) | AP50: 52.2 APL: 49.1 APM: 38.2 APS: 15 box AP: 33.2 |