
摘要
我们提出BlazePose,一种专为移动设备上实时推理而设计的轻量级卷积神经网络架构,用于人体姿态估计。在推理阶段,该网络可为单个人体检测出33个关键点,且在Pixel 2手机上运行速度超过每秒30帧,因而特别适用于健身追踪、手语识别等实时应用场景。本工作的主要贡献包括:提出一种新颖的人体姿态追踪方案,以及一种轻量级人体姿态估计神经网络,该网络结合热图(heatmaps)与关键点坐标回归两种方式,实现高效精准的姿态估计。
代码仓库
vladmandic/blazepose
tf
GitHub 中提及
vietanhdev/tf-blazepose
tf
GitHub 中提及
jiang-du/BlazePose-tensorflow
tf
GitHub 中提及
geaxgx/depthai_blazepose
pytorch
VNOpenAI/tf-blazepose
tf
GitHub 中提及
google/mediapipe
官方
tf
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-pose-estimation-on-google-ar | BlazePose Lite | PCK@0.2: 79.6 |
| 3d-pose-estimation-on-google-ar | OpenPose (body only) | PCK@0.2: 87.8 |
| 3d-pose-estimation-on-google-ar | BlazePose Full | PCK@0.2: 84.1 |
| 3d-pose-estimation-on-google-yoga | OpenPose (body only) | PCK@0.2: 83.4 |
| 3d-pose-estimation-on-google-yoga | BlazePose Full | PCK@0.2: 84.5 |
| 3d-pose-estimation-on-google-yoga | BlazePose Lite | PCK@0.2: 77.6 |