摘要

DETR 近期被提出，旨在消除目标检测中大量手工设计组件的需求，同时展现出良好的性能。然而，由于 Transformer 注意力模块在处理图像特征图时存在局限性，DETR 仍面临收敛速度慢和特征空间分辨率有限的问题。为缓解上述问题，我们提出了可变形 DETR（Deformable DETR），其注意力模块仅关注以参考点为中心的一小部分关键采样点。实验结果表明，与原始 DETR 相比，可变形 DETR 在相同训练轮次下性能更优，尤其在小目标检测方面表现显著提升，且仅需其 1/10 的训练轮次即可达到相近或更优效果。在 COCO 基准数据集上的大量实验充分验证了该方法的有效性。代码已开源，地址为：https://github.com/fundamentalvision/Deformable-DETR。