3 个月前

DINO:面向端到端目标检测的改进去噪锚框DETR

DINO:面向端到端目标检测的改进去噪锚框DETR

摘要

我们提出 DINO(DETR with Improved deNoising anchOr boxes),一种当前最先进的端到端目标检测器。DINO 通过采用对比式去噪训练策略、混合查询选择方法进行锚框初始化,以及两次前瞻预测机制,显著提升了以往类似 DETR 模型在性能与效率方面的表现。在使用 ResNet-50 主干网络和多尺度特征的情况下,DINO 在 COCO 数据集上仅用 12 个训练周期即达到 49.4 AP,24 个周期时进一步提升至 51.3 AP,相较于此前表现最佳的 DETR 类模型 DN-DETR,分别实现了 +6.0 AP 和 +2.7 AP 的显著提升。DINO 在模型规模和数据规模上均表现出良好的可扩展性。在不依赖额外技巧的前提下,仅在 Objects365 数据集上使用 Swin-L 主干网络进行预训练后,DINO 在 COCO 的 \texttt{val2017}(63.2 AP)和 \texttt{test-dev}(63.3 AP)两个测试集上均取得了当前最优结果。与排行榜上的其他模型相比,DINO 在获得更优性能的同时,大幅减少了模型参数量和预训练数据规模。我们的代码将公开于 \url{https://github.com/IDEACVR/DINO}。

代码仓库

horrible-dong/teamdetr
pytorch
GitHub 中提及
IDEACVR/MaskDINO
pytorch
GitHub 中提及
idea-research/dab-detr
pytorch
GitHub 中提及
idea-research/dino
pytorch
GitHub 中提及
IDEA-Research/detrex
pytorch
GitHub 中提及
lucasjinreal/yolov7_d2
pytorch
GitHub 中提及
IDEA-opensource/DAB-DETR
pytorch
GitHub 中提及
IDEACVR/DINO
官方
pytorch
GitHub 中提及
idea-research/dn-detr
pytorch
GitHub 中提及
idea-research/maskdino
pytorch
GitHub 中提及
NVlabs/FasterViT
pytorch
GitHub 中提及
IDEA-opensource/DN-DETR
pytorch
GitHub 中提及

基准测试

基准方法指标
object-detection-on-cocoDINO (Swin-L,multi-scale, TTA)
box mAP: 63.3
object-detection-on-coco-minivalDINO-5scale (24 epoch)
AP50: 69.1
AP75: 56
APL: 65.8
APM: 54.2
APS: 34.5
box AP: 51.3
object-detection-on-coco-minivalDINO-5scale (36 epoch)
AP50: 69
AP75: 55.8
APL: 65.3
APM: 54.3
APS: 35
box AP: 51.2
object-detection-on-coco-minivalDINO (Swin-L)
box AP: 63.2
object-detection-on-coco-oDINO (Swin-L)
Average mAP: 42.1
Effective Robustness: 15.76
object-detection-on-sa-det-100kDINO (ResNet50 1x VFL)
AP: 43.7
AP50: 52.0
AP75: 47.7
APL: 61.5
APM: 43.0
APS: 5.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DINO:面向端到端目标检测的改进去噪锚框DETR | 论文 | HyperAI超神经