摘要

我们对基于DETR的半监督目标检测（SSOD）框架进行了分析，发现存在以下两个关键问题：（1）一对一匹配策略在伪真实边界框（pseudo ground-truth bounding box）不准确时会产生错误匹配，从而导致训练效率低下；（2）基于DETR的检测器缺乏输入查询（input query）与其预测输出之间的确定性对应关系，这限制了当前半监督方法中广泛使用的基于一致性正则化策略的应用。为此，我们提出了Semi-DETR，这是首个基于Transformer的端到端半监督目标检测方法，旨在有效解决上述问题。具体而言，我们提出了一种分阶段混合匹配策略（Stage-wise Hybrid Matching），该策略结合了一对多与一对一匹配机制，在第一阶段提升训练效率，从而为第二阶段训练生成高质量的伪标签。此外，我们引入了跨视图查询一致性方法（Crossview Query Consistency），通过在不同视图间学习对象查询的语义特征不变性，无需依赖确定性的查询对应关系，增强了模型的鲁棒性。同时，我们设计了一种基于代价的伪标签挖掘模块（Cost-based Pseudo Label Mining），根据伪真实边界框的匹配代价动态挖掘更多有效的伪框，用于一致性训练，进一步提升模型性能。在COCO与Pascal VOC两个基准数据集的所有半监督目标检测设置下进行的大量实验表明，Semi-DETR在各项指标上均显著优于现有最先进方法。相关PaddlePaddle实现代码已开源，地址为：https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/semi_det/semi_detr。