4 个月前

准密集相似性学习在多目标跟踪中的应用

准密集相似性学习在多目标跟踪中的应用

摘要

相似学习在目标跟踪中被认为是至关重要的一步。然而,现有的多目标跟踪方法仅使用稀疏的真实匹配作为训练目标,而忽略了图像上的大多数信息区域。本文提出了一种准密集相似学习(Quasi-Dense Similarity Learning)方法,该方法在一对图像上密集采样数百个区域提议以进行对比学习。我们可以直接将这种相似学习与现有的检测方法结合,构建准密集跟踪(Quasi-Dense Tracking, QDTrack),而无需依赖位移回归或运动先验。我们还发现,由此产生的独特特征空间允许在推理时进行简单的最近邻搜索。尽管其简单性,QDTrack 在 MOT、BDD100K、Waymo 和 TAO 跟踪基准上均优于所有现有方法。它在 MOT17 上不使用外部训练数据的情况下达到了 68.7 的 MOTA 指标和 20.3 FPS 的帧率。与具有类似检测器的方法相比,QDTrack 在 BDD100K 和 Waymo 数据集上显著提高了近 10 个百分点的 MOTA 指标,并大幅减少了身份切换的数量。我们的代码和训练模型可在 http://vis.xyz/pub/qdtrack 获取。

代码仓库

SysCV/qdtrack
官方
pytorch
GitHub 中提及
SysCV/tet
pytorch
GitHub 中提及
syscv/ovtrack
jax
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-on-dancetrackQDTrack
AssA: 29.2
DetA: 72.1
HOTA: 45.7
IDF1: 44.8
MOTA: 83.0
multi-object-tracking-on-mot16QDTrack
IDF1: 67.1
MOTA: 69.8
multi-object-tracking-on-mot17QDTrack
IDF1: 66.3
MOTA: 68.7
multi-object-tracking-on-sportsmotQDTrack
AssA: 47.2
DetA: 77.5
HOTA: 60.4
IDF1: 62.3
MOTA: 90.1
multiple-object-tracking-on-bdd100k-valQDTrack
AssocA: 48.5
TETA: 47.8
mIDF1: 50.8
mMOTA: 36.6
multiple-object-tracking-on-sportsmotQDTrack
AssA: 47.2
DetA: 77.5
HOTA: 60.4
IDF1: 62.3
MOTA: 90.1
multiple-object-tracking-on-waymo-openQDTrack
Category: Vehicle
MOTA: 55.6
mAP: 49.5
one-shot-object-detection-on-pascal-voc-2012QDTrack
MAP: 22.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
准密集相似性学习在多目标跟踪中的应用 | 论文 | HyperAI超神经