
摘要
检测变换器(DETR)通过将目标检测建模为一种序列转换任务——将图像特征转换为对象级表示——开辟了新的可能性。以往的研究通常在DETR基础上添加昂贵的模块以实现多目标跟踪(MOT),导致模型架构更加复杂。本文提出了一种更为简洁的方案:通过引入实例级对比损失、改进的采样策略以及轻量级的匹配方法,将DETR直接转化为一个MOT模型。所提出的训练策略在保持原有检测能力的同时,学习对象外观特征,且计算开销极低。在具有挑战性的BDD100K数据集上,该方法的性能超越了此前的最先进水平,mMOTA指标提升2.6个百分点;在MOT17数据集上,其表现也与现有的基于Transformer的方法相当。
代码仓库
pfdp0/ContrasTR
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-object-tracking-on-mot17 | ContrasTR | HOTA: 58.9 IDF1: 71.8 MOTA: 73.7 |
| multiple-object-tracking-on-bdd100k-test-1 | ContrasTR | mHOTA: 46.1 mIDF1: 56.5 mMOTA: 42.8 |
| multiple-object-tracking-on-bdd100k-val | ContrasTR | AssocA: - TETA: - mIDF1: 52.9 mMOTA: 41.7 |