
摘要
尽管计算机视觉领域取得了显著进展,但对微小目标的精确检测仍面临重大挑战,这主要归因于图像数据中微小目标所对应的像素表示极为有限。这一挑战在地球科学与遥感领域尤为突出,因为高保真度的微小目标检测可广泛应用于城市规划、环境监测等多个场景。本文提出一种新型检测框架——去噪特征金字塔网络结合Transformer的R-CNN(DeNoising FPN with Trans R-CNN,简称DNTR),以提升微小目标检测性能。DNTR由两个核心组件构成:一种即插即用的模块——去噪特征金字塔网络(DN-FPN),以及一种基于Transformer的高效检测器——Trans R-CNN。具体而言,特征金字塔网络(FPN)中的特征融合对多尺度目标检测至关重要,然而在融合过程中,由于不同尺度特征之间缺乏正则化约束,往往会产生噪声特征。为此,本文设计了DN-FPN模块,通过对比学习机制,在FPN的自顶向下路径中有效抑制各层级特征的噪声。其次,基于两阶段检测框架,本文用新型的Trans R-CNN替代传统R-CNN检测器,利用自注意力机制增强对微小目标的表征能力。实验结果表明,在AI-TOD数据集上,DNTR在微小目标平均精度(APvt)指标上较基线方法提升至少17.4%;在VisDrone数据集上,整体平均精度(AP)提升达9.6%。相关代码将公开发布于:https://github.com/hoiliu-0801/DNTR。
代码仓库
hoiliu-0801/dntr
官方
pytorch
GitHub 中提及
hoiliu-0801/dq-detr
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| object-detection-on-ai-tod | DNTR | AP: 26.2 AP50: 56.7 AP75: 20.2 APm: 37.0 APs: 31.0 APt: 26.4 APvt: 12.8 |