摘要

我们提出SelfRecon，一种结合隐式与显式表示的穿衣人体三维重建方法，能够从单目自旋转人体视频中恢复时空一致的几何结构。显式方法通常需要为特定序列预定义模板网格，然而对于特定个体而言，获取高质量模板网格极为困难；同时，固定的拓扑结构限制了重建精度以及可处理的服装类型。相比之下，隐式表示由于其连续性，能够支持任意拓扑结构，并可精确表达高保真几何形状。然而，隐式方法在整合多帧信息以生成适用于下游应用的一致注册序列方面存在挑战。为此，我们提出融合两类表示的优势：利用显式网格的可微分掩码损失来保持整体形状的一致性，同时通过可微分神经渲染对隐式表面的细节进行精细化优化。此外，显式网格会周期性更新以适应拓扑变化，并设计了一种一致性损失来对齐两种表示。与现有方法相比，SelfRecon能够在自监督优化下，实现对任意着装人体的高保真表面重建。大量实验结果表明，该方法在真实采集的单目视频上具有显著有效性。项目源代码已公开，地址为：https://github.com/jby1993/SelfReconCode。