摘要

从单张图像创建高质量的三维人体模型对于实际应用至关重要。尽管近年来取得了显著进展，但从野外图像中准确重建处于复杂姿势或穿着宽松衣物的人体，以及预测未见区域的纹理，仍然是一个重大挑战。先前方法的一个关键局限在于从二维到三维转换以及纹理预测过程中缺乏足够的先验指导。为此，我们提出了一种名为SIFU（侧视条件隐式函数用于真实世界可用的着衣人体重建）的新方法，该方法结合了侧视解耦变压器和三维一致纹理细化管道。SIFU在变压器内部采用了交叉注意力机制，利用SMPL-X法线作为查询，有效解耦侧视特征，在将二维特征映射到三维的过程中提高了精度。这种方法不仅提升了三维模型的准确性，还增强了其鲁棒性，尤其是在SMPL-X估计不完全准确的情况下。我们的纹理细化过程利用基于文本到图像扩散的先验知识生成逼真且一致的不可见视角纹理。通过广泛的实验验证，SIFU在几何和纹理重建方面均超越了现有最先进方法，展示了在复杂场景中的增强鲁棒性，并实现了前所未有的Chamfer距离和点到面测量值。我们的方法适用于3D打印和场景构建等实际应用，证明了其在现实世界中的广泛实用性。项目页面：https://river-zhang.github.io/SIFU-projectpage/ 。