3 个月前

野外环境下的全身人体姿态估计

野外环境下的全身人体姿态估计

摘要

本文研究了2D人体全身姿态估计任务,旨在定位人体全身(包括面部、双手、躯干及双脚)的密集关键点。由于现有数据集缺乏完整的全身标注,以往的方法不得不分别在人脸、手部和躯干等不同数据集上独立训练多个深度模型,从而面临数据集偏差问题以及模型复杂度高的挑战。为填补这一空白,本文提出了COCO-WholeBody数据集,该数据集在COCO数据集基础上扩展了全身标注信息。据我们所知,COCO-WholeBody是首个提供人体全身手动标注的基准数据集,包含133个密集关键点:面部68个、双手42个、躯干与双脚23个。为此,本文设计了一种单网络模型——ZoomNet,该模型充分考虑人体全身的层次化结构,有效应对同一人体不同部位之间的尺度差异问题。实验结果表明,ZoomNet在所提出的COCO-WholeBody数据集上显著优于现有方法。大量实验证明,COCO-WholeBody不仅可用于从零开始训练全身姿态估计的深度模型,还可作为多种下游任务(如面部关键点检测、手部关键点估计)的强大预训练数据集。该数据集已公开发布,获取地址为:https://github.com/jin-s13/COCO-WholeBody。

代码仓库

jin-s13/COCO-WholeBody
官方
GitHub 中提及

基准测试

基准方法指标
2d-human-pose-estimation-on-coco-wholebody-1ZoomNet (V0.5 data)
WB: 54.1
body: 74.3
face: 62.3
foot: 79.8
hand: 40.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
野外环境下的全身人体姿态估计 | 论文 | HyperAI超神经