3 个月前

在线多目标追踪中的稀疏图追踪器检测恢复

在线多目标追踪中的稀疏图追踪器检测恢复

摘要

在现有的联合检测与跟踪方法中,通常利用成对关系特征将先前的轨迹片段(tracklets)与当前检测结果进行匹配。然而,这些特征在面对大量检测结果时,可能缺乏足够的区分能力,难以准确识别目标。若仅选择置信度较高的检测结果进行跟踪,可能导致低置信度检测结果被遗漏,从而在在线场景下造成轨迹片段的断裂,且这些断裂无法恢复。针对这一问题,本文提出一种新型的在线图跟踪方法——稀疏图跟踪器(Sparse Graph Tracker, SGT)。SGT利用高阶关系特征,通过聚合邻近检测结果及其相互关系的特征,显著提升了特征的区分能力。SGT将视频数据建模为一个图结构,其中检测结果、检测之间的连接关系以及连接节点间的关系特征分别由图中的节点、边和边特征表示。得益于强大的边特征表达能力,SGT能够基于Top-K得分较高的检测结果(其中K值较大)进行目标跟踪,从而有效涵盖原本置信度较低的检测结果,实现对漏检目标的恢复。大量实验验证了SGT对K值选择的鲁棒性。在MOT16/17/20以及HiEve挑战赛中,SGT在保持实时推理速度的前提下,性能超越了现有最先进跟踪算法。尤其在MOT20和HiEve挑战赛中,SGT在MOTA指标上取得了显著提升。代码已开源,地址为:https://github.com/HYUNJS/SGT。

代码仓库

hyunjs/sgt
官方
pytorch

基准测试

基准方法指标
multi-object-tracking-on-hieveSGT
IDF1: 53.7
MOTA: 47.2
multi-object-tracking-on-mot16SGT
IDF1: 73.5
MOTA: 76.8
multi-object-tracking-on-mot17SGT
HOTA: 60.8
IDF1: 72.8
MOTA: 76.4
multi-object-tracking-on-mot20-1SGT
HOTA: 57.0
IDF1: 70.6
MOTA: 72.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
在线多目标追踪中的稀疏图追踪器检测恢复 | 论文 | HyperAI超神经