4 个月前

BodyNet:三维人体形状的体积推断

BodyNet:三维人体形状的体积推断

摘要

人体形状估计是视频编辑、动画和时尚行业中的一个重要任务。然而,从自然图像中预测三维人体形状极具挑战性,这主要是由于人体形态、着装和视角的变化等因素所致。先前解决这一问题的方法通常尝试在姿态和形状上应用某些先验来拟合参数化身体模型。在这项工作中,我们主张采用一种替代表示方法,并提出了一种名为BodyNet的神经网络,用于直接从单张图像推断体积人体形状。BodyNet是一种端到端可训练的网络,它受益于(i)体积3D损失,(ii)多视图重投影损失,以及(iii)2D姿态、2D身体部位分割和3D姿态的中间监督。我们的实验表明,每一种方法都能带来性能提升。为了评估该方法,我们将SMPL模型拟合到网络输出,并在SURREAL和Unite the People数据集上展示了最先进的结果,优于近期的方法。除了实现最先进性能外,我们的方法还支持体积身体部位分割。

代码仓库

gulvarol/bodynet
pytorch
GitHub 中提及
LONG-9621/body_net
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-human36mBodyNet
Average MPJPE (mm): 51.6
3d-human-pose-estimation-on-surreal-1BodyNet
MPJPE: 49.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BodyNet:三维人体形状的体积推断 | 论文 | HyperAI超神经