
摘要
相似学习在目标跟踪中被认为是至关重要的一步。然而,现有的多目标跟踪方法仅使用稀疏的真实匹配作为训练目标,而忽略了图像上的大多数信息区域。本文提出了一种准密集相似学习(Quasi-Dense Similarity Learning)方法,该方法在一对图像上密集采样数百个区域提议以进行对比学习。我们可以直接将这种相似学习与现有的检测方法结合,构建准密集跟踪(Quasi-Dense Tracking, QDTrack),而无需依赖位移回归或运动先验。我们还发现,由此产生的独特特征空间允许在推理时进行简单的最近邻搜索。尽管其简单性,QDTrack 在 MOT、BDD100K、Waymo 和 TAO 跟踪基准上均优于所有现有方法。它在 MOT17 上不使用外部训练数据的情况下达到了 68.7 的 MOTA 指标和 20.3 FPS 的帧率。与具有类似检测器的方法相比,QDTrack 在 BDD100K 和 Waymo 数据集上显著提高了近 10 个百分点的 MOTA 指标,并大幅减少了身份切换的数量。我们的代码和训练模型可在 http://vis.xyz/pub/qdtrack 获取。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-object-tracking-on-dancetrack | QDTrack | AssA: 29.2 DetA: 72.1 HOTA: 45.7 IDF1: 44.8 MOTA: 83.0 |
| multi-object-tracking-on-mot16 | QDTrack | IDF1: 67.1 MOTA: 69.8 |
| multi-object-tracking-on-mot17 | QDTrack | IDF1: 66.3 MOTA: 68.7 |
| multi-object-tracking-on-sportsmot | QDTrack | AssA: 47.2 DetA: 77.5 HOTA: 60.4 IDF1: 62.3 MOTA: 90.1 |
| multiple-object-tracking-on-bdd100k-val | QDTrack | AssocA: 48.5 TETA: 47.8 mIDF1: 50.8 mMOTA: 36.6 |
| multiple-object-tracking-on-sportsmot | QDTrack | AssA: 47.2 DetA: 77.5 HOTA: 60.4 IDF1: 62.3 MOTA: 90.1 |
| multiple-object-tracking-on-waymo-open | QDTrack | Category: Vehicle MOTA: 55.6 mAP: 49.5 |
| one-shot-object-detection-on-pascal-voc-2012 | QDTrack | MAP: 22.1 |