
摘要
从单张图像中准确且稳健地建模三维人体非常具有挑战性,而解决这一病态问题的关键在于人体模型的三维表示。为了克服传统三维表示的局限性,我们提出了一种参数化模型条件下的隐式表示(Parametric Model-Conditioned Implicit Representation, PaMIR),该方法将参数化身体模型与自由形式的深度隐式函数相结合。在基于PaMIR的重建框架中,我们设计了一种新颖的深度神经网络,利用参数化模型的语义特征对自由形式的深度隐式函数进行正则化,从而提高了在复杂姿态和多样服装拓扑场景下的泛化能力。此外,我们进一步集成了一个新颖的深度模糊感知训练损失函数,以解决深度模糊问题,并能够在不完美的身体参考下成功重建表面细节。最后,我们提出了一种身体参考优化方法,以提高参数化模型估计的准确性,并增强参数化模型与隐式函数之间的一致性。借助PaMIR表示,我们的框架可以轻松扩展到多图像输入场景,而无需进行多摄像机校准和姿态同步。实验结果表明,在处理复杂姿态和不同服装类型的情况下,我们的方法在基于图像的三维人体重建方面达到了最先进的性能。
代码仓库
ZhengZerong/PaMIR
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-human-reconstruction-on-4d-dress | PaMIR_Inner | Chamfer (cm): 2.520 IoU: 0.706 Normal Consistency: 0.805 |
| 3d-human-reconstruction-on-4d-dress | PaMIR_Outer | Chamfer (cm): 2.608 IoU: 0.715 Normal Consistency: 0.777 |
| 3d-human-reconstruction-on-cape | PaMIR | Chamfer (cm): 2.122 NC: 0.088 P2S (cm): 1.495 |
| 3d-human-reconstruction-on-customhumans | PaMIR | Chamfer Distance P-to-S: 2.181 Chamfer Distance S-to-P: 2.507 Normal Consistency: 0.813 f-Score: 35.847 |
| lifelike-3d-human-generation-on-thuman2-0 | PaMIR | CLIP Similarity: 0.8861 LPIPS: 0.1461 PSNR: 16.6267 SSIM: 0.8924 |