摘要

长期以来，3D人体重建的一个重要目标是从单视图图像中创建逼真且完全详细的3D人体模型。主要挑战在于推断图像中不可见区域的未知身体形状、外观和服装细节。为了解决这一问题，我们提出了一种名为SiTH的新颖管道，该管道独特地将图像条件扩散模型集成到3D网格重建工作流程中。我们的方法的核心在于将具有挑战性的单视图重建问题分解为生成性幻觉和重建两个子问题。对于前者，我们使用强大的生成性扩散模型根据输入图像来幻觉出未见的背面外观；对于后者，我们利用带有皮肤的身体网格作为指导，从输入图像和背面图像中恢复完整的全身体纹理网格。SiTH在训练时仅需500个3D人体扫描数据即可保持其通用性和对多样化图像的鲁棒性。我们在两个3D人体基准测试集上进行了广泛的评估，包括我们新创建的数据集，结果表明我们的方法在3D纹理化人体重建方面具有更高的准确性和感知质量。我们的代码和评估基准可访问https://ait.ethz.ch/sith 获取。