摘要

深度学习、艺术家精选扫描和隐式函数（Implicit Functions, IF）的结合，使得从图像中创建详细、穿着衣物的3D人体成为可能。然而，现有的方法远非完美。基于IF的方法可以恢复自由形态几何结构，但在处理新颖姿势或衣物时，可能会产生分离的肢体或退化的形状。为了提高这些情况下的鲁棒性，现有研究使用显式参数化身体模型来约束表面重建，但这限制了对偏离身体的自由形态表面（如宽松衣物）的恢复。我们希望找到一种方法，能够结合隐式表示和显式身体正则化的最佳特性。为此，我们提出了两个关键观察：（1）当前网络在推断详细2D地图方面比推断完整3D表面表现更好；（2）参数化模型可以被视为拼接详细表面补丁的“画布”。基于这些观察，我们的方法ECON包含三个主要步骤：（1）推断穿着衣物的人体正面和背面的详细2D法线图；（2）从这些法线图中恢复出同样详细的但不完整的2.5D正面和背面表面，称为d-BiNI，并借助从图像中恢复的SMPL-X身体网格将它们相互注册；（3）“修复”d-BiNI表面之间的缺失几何结构。如果面部和手部存在噪声，可以选择用SMPL-X的身体部位替换它们。因此，ECON能够在宽松衣物和具有挑战性的姿势下推断出高保真的3D人体。根据在CAPE和Renderpeople数据集上的定量评估，这种方法超越了以往的方法。感知研究也表明，ECON在感知真实度方面有显著优势。代码和模型已发布于econ.is.tue.mpg.de供研究使用。