4 个月前

HopTrack:一种适用于嵌入式设备的实时多目标跟踪系统

HopTrack:一种适用于嵌入式设备的实时多目标跟踪系统

摘要

多目标跟踪(MOT)在计算机视觉中面临诸多挑战。尽管其在机器人技术、自动驾驶和智能制造等领域有着广泛的应用,但针对嵌入式设备上运行MOT的具体挑战的研究文献却相对有限。最先进的MOT跟踪器通常为高端GPU设计,在部署到嵌入式设备时往往会出现较低的处理速率(<11帧/秒)。现有的嵌入式设备MOT框架提出了诸如将检测模型与特征嵌入模型融合以减少推理延迟,或将不同跟踪器结合以提高跟踪精度的策略,但这些方法往往会在两者之间做出妥协。本文介绍了一种专为嵌入式设备设计的实时多目标跟踪系统——HopTrack。该系统采用了一种新颖的离散静态和动态匹配方法以及创新的内容感知动态采样技术,以提高跟踪精度并满足实时需求。与最佳的高端GPU修改基线Byte(Embed)和最佳的现有嵌入式设备基线MobileNet-JDE相比,HopTrack在NVIDIA AGX Xavier上实现了高达39.29帧/秒的处理速度,在MOT16基准测试中的多目标跟踪精度(MOTA)达到63.12%,分别超过了这两个基线2.15%和4.82%。此外,HopTrack不仅提高了精度,还减少了能耗(20.8%)、功耗(5%)和内存使用量(8%),这些都是嵌入式设备上的关键资源。HopTrack还具有检测器无关性,允许灵活的即插即用功能。

代码仓库

Mrxiangli/HopTrack
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-on-mot16HopTrack[Embedded GPU]
MOTA: 63.12
multi-object-tracking-on-mot20-1HopTrack[Embedded GPU]
MOTA: 45.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HopTrack:一种适用于嵌入式设备的实时多目标跟踪系统 | 论文 | HyperAI超神经