摘要

基于对现有DETR类模型中广泛采用的级联解码器架构特性的分析，本文提出了一种新型解码器架构。现有级联解码器架构限制了目标查询（object queries）仅沿级联方向进行更新，导致目标查询只能从图像特征中学习到相对有限的信息。然而，自然场景中的目标检测任务面临诸多挑战（如目标极小、严重遮挡、与背景混淆等），要求检测模型能够充分挖掘和利用图像特征信息。为此，本文提出一种具备并行多轮查询（Multi-time Inquiries, MI）机制的新解码器架构。MI机制使目标查询能够获取更全面、更丰富的特征信息。基于该机制构建的MI-DETR模型，在不同主干网络（backbone）和训练轮次下，均在COCO基准测试中超越了所有现有的DETR类模型。在ResNet-50主干网络下，相较于最具代表性的DINO模型和当前最先进模型Relation-DETR，MI-DETR分别实现了+2.3 AP和+0.6 AP的性能提升。此外，一系列诊断实验与可视化分析结果充分验证了MI机制的有效性、合理性与可解释性。