摘要

我们提出了一项针对3D人体全身姿态估计的基准测试，该测试涉及在整个人体上识别准确的3D关键点，包括面部、手部、躯干和脚部。目前，由于缺乏完全注释且准确的3D全身数据集，深度网络通常需要分别在特定身体部位上进行训练，然后在推理过程中将这些部分组合起来。或者它们依赖于参数化人体模型提供的伪真实数据，但这些数据不如基于检测的方法准确。为了解决这些问题，我们引入了Human3.6M 3D 全身（H3WB）数据集，该数据集使用COCO 全身布局为Human3.6M 数据集提供了全身注释。H3WB 包含10万张图像上的133个全身关键点注释，这得益于我们新开发的多视图管道。此外，我们提出了三项任务：i) 从2D 完整全身姿态提升至3D 全身姿态；ii) 从2D 不完整全身姿态提升至3D 全身姿态；iii) 从单个RGB 图像中估计3D 全身姿态。我们还报告了这些任务中几种流行方法的基线结果。此外，我们还提供了TotalCapture 的自动化3D 全身注释，并通过实验表明，将其与H3WB 结合使用可以提高性能。代码和数据集可在 https://github.com/wholebody3d/wholebody3d 获取。