摘要

我们介绍了像素对齐隐式函数（PIFu），这是一种高效的隐式表示方法，能够在局部将二维图像的像素与其对应的三维物体的全局上下文对齐。利用PIFu，我们提出了一种端到端的深度学习方法，用于从单张图像中数字化高度详细的着装人体，该方法可以推断出三维表面和纹理，同时还可以选择性地处理多张输入图像。高度复杂的形状，如发型、服装及其变化和变形，都可以通过统一的方式进行数字化。与现有的用于三维深度学习的表示方法相比，PIFu能够生成高分辨率的表面，包括那些通常难以观察到的区域，例如人的背部。特别是，与体素表示不同，PIFu在内存使用上更为高效，能够处理任意拓扑结构，并且生成的表面在空间上与输入图像对齐。此外，虽然以往的技术设计为处理单张图像或多视角图像，但PIFu可以自然地扩展到任意数量的视角。我们在DeepFashion数据集的真实世界图像上展示了高分辨率和鲁棒性的重建结果，该数据集包含各种具有挑战性的服装类型。我们的方法在公共基准测试中达到了最先进的性能，并且在从单张图像中数字化着装人体方面超越了先前的工作。