
摘要
少样本目标检测旨在从极少量先前未见过类别的标注示例中快速检测新对象,这一领域已引起研究界的广泛关注。现有的大多数方法采用Faster R-CNN作为基本检测框架,但由于缺乏针对数据稀缺场景的专门考虑,其性能通常不尽如人意。本文中,我们深入分析了传统的Faster R-CNN,并从两个正交的角度探讨了其矛盾之处,即多阶段(RPN与RCNN)和多任务(分类与定位)。为了解决这些问题,我们提出了一种简单而有效的架构,称为解耦Faster R-CNN(DeFRCN)。具体而言,我们在Faster R-CNN的基础上引入了梯度解耦层(Gradient Decoupled Layer)以实现多阶段解耦,并引入了原型校准块(Prototypical Calibration Block)以实现多任务解耦。前者是一种重新定义特征前向传播操作和梯度反向传播操作的新深度层,用于解耦其后续层和前一层;后者是一个基于原型的离线分类模型,该模型以检测器生成的候选框为输入,并通过增加额外的成对分数来提升原始分类得分以进行校准。在多个基准上的大量实验表明,我们的框架显著优于其他现有方法,并在少样本文献中建立了新的最先进水平。
代码仓库
er-muyue/defrcn
官方
pytorch
GitHub 中提及
nvakhoa/mpad
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| cross-domain-few-shot-object-detection-on | DeFRCN | mAP: 15.5 |
| cross-domain-few-shot-object-detection-on-2 | DeFRCN | mAP: 22.9 |
| cross-domain-few-shot-object-detection-on-4 | DeFRCN | mAP: 12.1 |
| few-shot-object-detection-on-ms-coco-1-shot | DeFRCN | AP: 9.3 |
| few-shot-object-detection-on-ms-coco-10-shot | DeFRCN | AP: 18.5 |
| few-shot-object-detection-on-ms-coco-30-shot | DeFRCN | AP: 22.6 |