3 个月前

将物体追踪为点

将物体追踪为点

摘要

传统上,目标跟踪是通过在时空中追踪兴趣点来实现的。随着强大深度神经网络的兴起,这一范式发生了转变。如今,主流的跟踪方法采用“检测-关联”流水线,即先进行目标检测,再通过时间关联实现跟踪,也称为“基于检测的跟踪”(tracking-by-detection)。在本文中,我们提出了一种新型的检测与跟踪联合算法,其结构更简单、运行更快、精度更高,显著优于当前最先进的方法。我们的跟踪器——CenterTrack,仅需输入当前帧与前一帧的检测结果,即可完成目标定位与帧间关联预测。整个过程极为简洁:仅依赖这一最小输入,CenterTrack 即可实现对目标的精确定位并建立与前一帧的关联。该方法结构简洁、支持在线处理(无需窥探未来帧),且可实现实时运行。在 MOT17 数据集上,CenterTrack 在 22 FPS 的速度下实现了 67.3% 的 MOTA 指标;在 KITTI 跟踪基准上,以 15 FPS 的速度达到 89.4% 的 MOTA,均创下该两个数据集的新纪录。此外,CenterTrack 可通过回归额外的 3D 属性,轻松扩展至单目 3D 跟踪任务。在新发布的 nuScenes 3D 跟踪基准上,仅使用单目视频输入,CenterTrack 在 AMOTA@0.2 指标上达到 28.3%,显著超越该基准上的单目基线方法,同时保持 28 FPS 的运行速度。

代码仓库

JialianW/TraDeS
pytorch
GitHub 中提及
xingyizhou/CenterTrack
官方
pytorch
GitHub 中提及
Feynman1999/MgeEditing
GitHub 中提及
hampen2929/CenterTrack
pytorch
GitHub 中提及
qa276390/searchtrack
pytorch
GitHub 中提及
danielzgsilva/MOT
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-on-dancetrackCenterTrack
AssA: 22.6
DetA: 78.1
HOTA: 41.8
IDF1: 35.7
MOTA: 86.8
multi-object-tracking-on-sportsmotCenterTrack
AssA: 48.0
DetA: 82.1
HOTA: 62.7
IDF1: 60.0
MOTA: 90.8
multiple-object-tracking-on-kitti-test-onlineCenterTrack
HOTA: 73.02
MOTA: 89.44
multiple-object-tracking-on-sportsmotCenterTrack
AssA: 48.0
DetA: 82.1
HOTA: 62.7
IDF1: 60.0
MOTA: 90.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
将物体追踪为点 | 论文 | HyperAI超神经