摘要

尽管从图像回归3D人体网格的方法取得了快速进展，但估计出的人体形状往往无法捕捉到真实的人体形态。这在许多应用中是一个问题，因为准确的人体形状与姿态一样重要。人体形状准确性滞后于姿态准确性的关键原因是数据不足。虽然人类可以标记2D关节，这些关节对3D姿态有约束作用，但要“标记”3D人体形状却并非易事。由于包含图像和3D人体形状的配对数据较为罕见，我们利用了两种信息来源：（1）收集了互联网上多样化的“时尚”模特图像及其少量的人体测量数据；（2）为广泛范围的3D人体网格和模型图像收集了语言形状属性。综合这些数据集，提供了足够的约束条件来推断密集的3D形状。我们以几种新颖的方式利用这些人体测量数据和语言形状属性来训练一个名为SHAPY的神经网络，该网络可以从RGB图像回归出3D人体姿态和形状。我们在公共基准上评估了SHAPY，但需要注意的是，这些基准要么缺乏显著的人体形状变化、真实形状数据，要么缺乏服装变化。因此，我们收集了一个新的用于评估3D人体形状估计的数据集，称为HBW（Human Bodies in the Wild），其中包含具有真实3D身体扫描的照片。在这个新的基准上，SHAPY在3D人体形状估计任务上的表现显著优于现有最先进方法。这是首次证明可以从容易获取的人体测量数据和语言形状属性中训练出从图像回归3D人体形状的模型。我们的模型和数据可在以下网址获取：shapy.is.tue.mpg.de