
摘要
我们提出 DINO(DETR with Improved deNoising anchOr boxes),一种当前最先进的端到端目标检测器。DINO 通过采用对比式去噪训练策略、混合查询选择方法进行锚框初始化,以及两次前瞻预测机制,显著提升了以往类似 DETR 模型在性能与效率方面的表现。在使用 ResNet-50 主干网络和多尺度特征的情况下,DINO 在 COCO 数据集上仅用 12 个训练周期即达到 49.4 AP,24 个周期时进一步提升至 51.3 AP,相较于此前表现最佳的 DETR 类模型 DN-DETR,分别实现了 +6.0 AP 和 +2.7 AP 的显著提升。DINO 在模型规模和数据规模上均表现出良好的可扩展性。在不依赖额外技巧的前提下,仅在 Objects365 数据集上使用 Swin-L 主干网络进行预训练后,DINO 在 COCO 的 \texttt{val2017}(63.2 AP)和 \texttt{test-dev}(63.3 AP)两个测试集上均取得了当前最优结果。与排行榜上的其他模型相比,DINO 在获得更优性能的同时,大幅减少了模型参数量和预训练数据规模。我们的代码将公开于 \url{https://github.com/IDEACVR/DINO}。
代码仓库
horrible-dong/teamdetr
pytorch
GitHub 中提及
IDEACVR/MaskDINO
pytorch
GitHub 中提及
idea-research/dab-detr
pytorch
GitHub 中提及
idea-research/dino
pytorch
GitHub 中提及
IDEA-Research/detrex
pytorch
GitHub 中提及
lucasjinreal/yolov7_d2
pytorch
GitHub 中提及
IDEA-opensource/DAB-DETR
pytorch
GitHub 中提及
alibaba/EasyCV
pytorch
xiuqhou/relation-detr
pytorch
IDEACVR/DINO
官方
pytorch
GitHub 中提及
idea-research/dn-detr
pytorch
GitHub 中提及
idea-research/maskdino
pytorch
GitHub 中提及
NVlabs/FasterViT
pytorch
GitHub 中提及
IDEA-opensource/DN-DETR
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| object-detection-on-coco | DINO (Swin-L,multi-scale, TTA) | box mAP: 63.3 |
| object-detection-on-coco-minival | DINO-5scale (24 epoch) | AP50: 69.1 AP75: 56 APL: 65.8 APM: 54.2 APS: 34.5 box AP: 51.3 |
| object-detection-on-coco-minival | DINO-5scale (36 epoch) | AP50: 69 AP75: 55.8 APL: 65.3 APM: 54.3 APS: 35 box AP: 51.2 |
| object-detection-on-coco-minival | DINO (Swin-L) | box AP: 63.2 |
| object-detection-on-coco-o | DINO (Swin-L) | Average mAP: 42.1 Effective Robustness: 15.76 |
| object-detection-on-sa-det-100k | DINO (ResNet50 1x VFL) | AP: 43.7 AP50: 52.0 AP75: 47.7 APL: 61.5 APM: 43.0 APS: 5.8 |