4 个月前

基于时间流图的肢体姿态估计与跟踪器

基于时间流图的肢体姿态估计与跟踪器

摘要

在视频中进行人体姿态估计时,如何利用帧间的时间信息至关重要。本文提出了一种肢体时间流图(Temporal Flow Maps for Limbs, TML)和多步长方法来估计和跟踪人体姿态。所提出的肢体时间流图是描述肢体运动的单位向量。我们构建了一个网络,以端到端的方式学习空间信息和时间信息。在空间网络部分,回归了诸如关节热图和部位亲和力场等空间信息;而在时间网络部分,则回归了TML。此外,我们还提出了一种数据增强方法,以便更好地学习各种类型的TML。所提出的多步长方法通过在定义范围内随机选择两帧来扩展数据。我们在PoseTrack 2017和2018数据集上展示了该方法能够高效地估计和跟踪人体姿态。

基准测试

基准方法指标
pose-tracking-on-posetrack2017TML++ (MIPAL)
MOTA: 54.46
mAP: 68.78
pose-tracking-on-posetrack2018TML++ (MIPAL)
MOTA: 54.86
mAP: 67.81

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于时间流图的肢体姿态估计与跟踪器 | 论文 | HyperAI超神经