摘要

检测变压器（DETR）通过在训练过程中使用一对一的二分图匹配机制，直接将查询（queries）映射为唯一目标，实现了端到端的目标检测。近期，这类模型在COCO数据集上的表现已显著超越传统检测器，展现出无可争议的优雅性。然而，DETR在多个设计层面（包括模型架构和训练策略）与传统检测器存在差异，因此其一对一匹配机制的有效性尚未得到充分理解。在本研究中，我们对DETR中使用的一对一匈牙利匹配机制，与传统检测器在非极大值抑制（NMS）框架下的多对一标签分配方式进行了严格对比。令人惊讶的是，在相同实验设置下，采用NMS的多对一标签分配始终优于标准的一对一匹配，最高可带来高达2.5 mAP的性能提升。我们提出的方法——使用基于IoU的传统标签分配策略训练可变形DETR（Deformable-DETR），在仅12个epoch（1x训练周期）内，基于ResNet50主干网络即达到了50.2的COCO mAP，超越了该设置下所有现有传统检测器及基于Transformer的检测器。在多个数据集、训练周期和网络架构上，我们的实验一致表明：高性能的检测变压器并无需依赖二分图匹配机制。此外，我们进一步指出，检测变压器成功的关键在于其强大的表达能力，源于其Transformer架构本身。相关代码已开源，地址为：https://github.com/jozhang97/DETA。