3 个月前

重新思考多目标追踪中检测与ReID之间的竞争关系

重新思考多目标追踪中检测与ReID之间的竞争关系

摘要

由于在准确率与速度之间取得了良好平衡,联合学习检测与身份识别嵌入的一次性模型(one-shot models)在多目标跟踪(Multi-Object Tracking, MOT)领域受到了广泛关注。然而,在一次性跟踪范式中,检测与重识别(ReID)被视作两个独立任务,导致其内在差异与关联关系往往被忽视,从而使得模型性能相较于现有的两阶段方法仍显不足。本文首次剖析了检测与ReID任务之间的推理过程,揭示出二者之间的竞争关系不可避免地会破坏任务相关表示的学习。为解决这一问题,我们提出一种新颖的互惠网络(Reciprocal Enhanced Network, REN),采用自关系(self-relation)与跨关系(cross-relation)协同设计,促使各分支更有效地学习任务特异性表示,以缓解任务间的负面竞争,同时增强检测与ReID之间的协同作用。此外,我们引入一种尺度感知注意力网络(Scale-Aware Attention Network, SAAN),有效避免语义层面的错位,进一步提升ID嵌入的关联能力。通过将上述两个精心设计的网络模块集成至一次性在线MOT系统中,我们构建了一种性能强大的跟踪器——CSTrack。实验结果表明,CSTrack在MOT16、MOT17和MOT20数据集上均达到了当前最优水平,且无需额外的后处理或复杂组件。同时,CSTrack具有高效性,在单张现代GPU上可达到16.4 FPS的推理速度,其轻量化版本甚至可实现34.6 FPS。完整代码已开源,地址为:https://github.com/JudasDie/SOTS。

代码仓库

Zhongdao/Towards-Realtime-MOT
pytorch
GitHub 中提及
nemonameless/jde
pytorch
GitHub 中提及
JudasDie/SOTS
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-on-hieveCSTrack
IDF1: 51.4
MOTA: 48.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
重新思考多目标追踪中检测与ReID之间的竞争关系 | 论文 | HyperAI超神经