摘要

本文提出了一种增强DETR（DEtection TRansformer）收敛性和性能的通用方案。我们从一个新的角度研究了变压器中的缓慢收敛问题，指出该问题源于自注意力机制对输入没有引入结构偏差。为了解决这一问题，我们探索了将位置关系先验作为注意力偏置来增强目标检测的方法，并通过提出的定量宏观相关性（MC）指标验证了其统计显著性。我们的方法称为Relation-DETR，引入了一个编码器来构建位置关系嵌入，以逐步改进注意力机制，进一步将传统的DETR流水线扩展为对比关系流水线，以解决非重复预测与正监督之间的冲突。在通用数据集和特定任务数据集上的大量实验表明了我们方法的有效性。在相同的配置下，Relation-DETR相比DINO实现了显著的性能提升（+2.0% AP），达到了最先进的性能水平（1x设置下的AP为51.7%，2x设置下的AP为52.1%），并且在COCO val2017上比现有的DETR检测器具有更快的收敛速度（仅需2个训练周期即可达到超过40%的AP）。此外，所提出的关联编码器作为一个通用的即插即用组件，可以为理论上任何类似DETR的方法带来明显的改进。此外，我们还引入了一个类别无关的目标检测数据集SA-Det-100k。在该数据集上的实验结果表明，所提出的显式位置关系实现了1.3% AP的明显提升，突显了其在通用目标检测方面的潜力。代码和数据集可在https://github.com/xiuqhou/Relation-DETR获取。