摘要

我们介绍了人体网格恢复（Human Mesh Recovery, HMR），这是一种从单张RGB图像中重建完整3D人体网格的端到端框架。与大多数当前仅计算2D或3D关节位置的方法不同，我们生成了一种更为丰富且实用的网格表示，该表示由形状和3D关节角度参数化。主要目标是最小化关键点的重投影损失，这使得我们的模型可以使用只有真实2D注释的野外图像进行训练。然而，仅靠重投影损失会使模型高度欠约束。在本研究中，我们通过引入一个对抗网络来解决这一问题，该网络利用大量3D人体网格数据库判断一个人体参数是否真实。我们展示了HMR可以在有无配对的2D到3D监督的情况下进行训练。我们不依赖于中间的2D关键点检测，而是直接从图像像素中推断出3D姿态和形状参数。给定包含人的边界框时，我们的模型可以实时运行。我们在各种野外图像上验证了我们的方法，并在输出3D网格的任务上优于之前的基于优化的方法，在如3D关节位置估计和部件分割等任务上也显示出具有竞争力的结果。