摘要

当前用于学习逼真且可动画化的3D着装虚拟人物的方法需要要么是具有特定姿势的3D扫描数据，要么是用户姿势经过精心控制的2D图像。相比之下，我们的目标是从仅包含无约束姿势的人体2D图像中学习一个虚拟人物。给定一组图像，我们的方法从每张图像中估计出详细的3D表面，然后将这些表面组合成一个可动画化的虚拟人物。隐式函数非常适合完成第一个任务，因为它们可以捕捉头发和衣物等细节。然而，现有的方法在处理不同的人体姿势时并不稳健，经常生成带有断裂或分离的肢体、缺失细节或非人体形状的3D表面。问题在于这些方法使用了对全局姿态敏感的全局特征编码器。为了解决这一问题，我们提出了ICON（“从法线获取的隐式着装人体”），该方法使用局部特征。ICON有两个主要模块，均利用了SMPL(-X)身体模型。首先，ICON根据SMPL(-X)法线推断出详细的人体着装法线（正面/背面）。其次，一个基于可见性的隐式表面回归器生成一个人体占据场的等值面。重要的是，在推理阶段，一个反馈循环交替进行SMPL(-X)网格的细化（使用推断出的着装法线）和法线的进一步优化。给定多个不同姿势下的主体重建帧，我们使用SCANimate来从中生成一个可动画化的虚拟人物。在AGORA和CAPE数据集上的评估表明，即使在训练数据严重受限的情况下，ICON在重建方面也优于现有最先进技术。此外，它对分布外样本（例如野外姿势/图像和画面外裁剪）具有更强的鲁棒性。ICON朝着从野外图像中稳健地重建3D着装人体迈出了重要一步。这使得可以直接从视频中创建具有个性化和自然姿态依赖衣物变形的虚拟人物成为可能。