4 个月前

从野外多张无约束图像中进行概率三维人体形状和姿态估计

从野外多张无约束图像中进行概率三维人体形状和姿态估计

摘要

本文探讨了从RGB图像中估计三维人体形状和姿态的问题。近年来,该领域的研究进展主要集中在以单张图像、视频或多视角图像作为输入。相比之下,我们提出了一项新的任务:在不受组内图像中人体姿态、摄像机视角或背景条件限制的情况下,从一组多个人体主体的图像中估计形状和姿态。我们的解决方案是在给定组内的输入图像条件下预测SMPL(Skinned Multi-Person Linear model)模型的形状和姿态参数分布。我们通过概率方法将每张图像预测的身体形状分布结合起来,从而获得最终的多图像形状预测结果。实验表明,多图像输入组中额外的人体形状信息在SSP-3D数据集和一个私有的测量人体数据集中提高了三维人体形状估计的指标,相较于单张图像输入。此外,对三维身体进行分布预测使我们能够量化姿态预测的不确定性,这在处理具有显著遮挡的挑战性输入图像时非常有用。我们的方法在3DPW数据集上展示了有意义的姿态不确定性,并且在姿态估计指标方面与现有最先进方法具有竞争力。

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwProb3DHumans
MPJPE: 90.9
PA-MPJPE: 61
3d-human-shape-estimation-on-ssp-3dProb3DHumans
PVE-T-SC: 15.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
从野外多张无约束图像中进行概率三维人体形状和姿态估计 | 论文 | HyperAI超神经