4 个月前

PaMIR:基于参数模型的隐式表示用于图像驱动的人体重建

PaMIR:基于参数模型的隐式表示用于图像驱动的人体重建

摘要

从单张图像中准确且稳健地建模三维人体非常具有挑战性,而解决这一病态问题的关键在于人体模型的三维表示。为了克服传统三维表示的局限性,我们提出了一种参数化模型条件下的隐式表示(Parametric Model-Conditioned Implicit Representation, PaMIR),该方法将参数化身体模型与自由形式的深度隐式函数相结合。在基于PaMIR的重建框架中,我们设计了一种新颖的深度神经网络,利用参数化模型的语义特征对自由形式的深度隐式函数进行正则化,从而提高了在复杂姿态和多样服装拓扑场景下的泛化能力。此外,我们进一步集成了一个新颖的深度模糊感知训练损失函数,以解决深度模糊问题,并能够在不完美的身体参考下成功重建表面细节。最后,我们提出了一种身体参考优化方法,以提高参数化模型估计的准确性,并增强参数化模型与隐式函数之间的一致性。借助PaMIR表示,我们的框架可以轻松扩展到多图像输入场景,而无需进行多摄像机校准和姿态同步。实验结果表明,在处理复杂姿态和不同服装类型的情况下,我们的方法在基于图像的三维人体重建方面达到了最先进的性能。

代码仓库

ZhengZerong/PaMIR
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-reconstruction-on-4d-dressPaMIR_Inner
Chamfer (cm): 2.520
IoU: 0.706
Normal Consistency: 0.805
3d-human-reconstruction-on-4d-dressPaMIR_Outer
Chamfer (cm): 2.608
IoU: 0.715
Normal Consistency: 0.777
3d-human-reconstruction-on-capePaMIR
Chamfer (cm): 2.122
NC: 0.088
P2S (cm): 1.495
3d-human-reconstruction-on-customhumansPaMIR
Chamfer Distance P-to-S: 2.181
Chamfer Distance S-to-P: 2.507
Normal Consistency: 0.813
f-Score: 35.847
lifelike-3d-human-generation-on-thuman2-0PaMIR
CLIP Similarity: 0.8861
LPIPS: 0.1461
PSNR: 16.6267
SSIM: 0.8924

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PaMIR:基于参数模型的隐式表示用于图像驱动的人体重建 | 论文 | HyperAI超神经