4 个月前

D-FINE:将DETRs中的回归任务重新定义为细粒度分布优化

D-FINE:将DETRs中的回归任务重新定义为细粒度分布优化

摘要

我们介绍了一种强大的实时目标检测器D-FINE,该检测器通过在DETR模型中重新定义边界框回归任务,实现了卓越的定位精度。D-FINE包含两个关键组件:细粒度分布精炼(Fine-grained Distribution Refinement, FDR)和全局最优定位自蒸馏(Global Optimal Localization Self-Distillation, GO-LSD)。FDR将回归过程从预测固定坐标转变为迭代精炼概率分布,提供了细粒度的中间表示,显著提高了定位准确性。GO-LSD是一种双向优化策略,通过自蒸馏将定位知识从精炼分布传递到浅层,同时简化了深层的残差预测任务。此外,D-FINE在计算密集型模块和操作中引入了轻量级优化,实现了速度与准确性的更好平衡。具体而言,D-FINE-L / X在NVIDIA T4 GPU上分别以124 / 78 FPS的速度在COCO数据集上达到了54.0% / 55.8%的AP值。当在Objects365数据集上预训练时,D-FINE-L / X分别达到了57.1% / 59.3%的AP值,超越了所有现有的实时检测器。此外,我们的方法在几乎不增加额外参数和训练成本的情况下,显著提升了多种DETR模型的性能,最高可达5.3%的AP值提升。我们的代码和预训练模型可在以下链接获取:https://github.com/Peterande/D-FINE。

代码仓库

Peterande/D-FINE
官方
pytorch
GitHub 中提及
shihuahuang95/deim
pytorch
GitHub 中提及
open-edge-platform/geti
pytorch
GitHub 中提及

基准测试

基准方法指标
real-time-object-detection-on-cocoD-FINE-S+
FPS (V100, b=1): 287 (T4)
box AP: 50.7
real-time-object-detection-on-cocoD-FINE-M
FPS (V100, b=1): 178 (T4)
box AP: 52.3
real-time-object-detection-on-cocoD-FINE-L
FPS (V100, b=1): 124 (T4)
box AP: 54.0
real-time-object-detection-on-cocoD-FINE-S
FPS (V100, b=1): 287 (T4)
box AP: 48.5
real-time-object-detection-on-cocoD-FINE-M+
FPS (V100, b=1): 178 (T4)
box AP: 55.1
real-time-object-detection-on-cocoD-FINE-X
FPS (V100, b=1): 78 (T4)
box AP: 55.8
real-time-object-detection-on-cocoD-FINE-X+
FPS (V100, b=1): 78 (T4)
box AP: 59.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
D-FINE:将DETRs中的回归任务重新定义为细粒度分布优化 | 论文 | HyperAI超神经