摘要

我们提出SCANimate，一种端到端可训练的框架，能够将穿着衣物的人体原始3D扫描数据转化为可驱动的动画化身。这些化身由姿态参数驱动，具备逼真的衣物动态与自然的形变效果。SCANimate无需依赖定制化的网格模板或表面网格配准。我们观察到，将参数化3D人体模型（如SMPL）拟合到穿着衣物的人体扫描上是可行的，而将人体拓扑结构与扫描表面进行精确配准则往往不可行，因为衣物形状与人体本体存在显著差异。此外，我们发现刚性关节变换具有可逆性，从而在有姿态与无姿态形状之间实现了几何循环一致性。基于这些观察，我们提出一种弱监督学习方法，通过解耦关节形变，将扫描数据对齐至标准姿态，且无需基于模板的表面配准。为进一步填补对齐后扫描中的缺失区域，并建模姿态相关的形变，我们引入了一种局部姿态感知的隐式函数，该函数能够学习补全几何结构并建模姿态修正项。与常用的全局姿态嵌入相比，我们的局部姿态条件建模显著降低了远距离的虚假相关性，提升了在未见姿态下的泛化能力，尤其在训练数据有限的情况下表现更优。该方法还可用于姿态感知的外观建模，生成完全贴图的三维化身。我们在多种衣物类型及不同规模的训练数据下验证了本方法的有效性，结果表明，无论在保真度还是泛化能力方面，本方法均优于现有方案及其他变体。代码已公开，地址为：https://scanimate.is.tue.mpg.de。