摘要

在这项工作中，我们介绍了Unique3D，一种新颖的图像到三维框架，能够高效地从单视图图像生成高质量的3D网格模型，具有业界领先的生成保真度和强大的泛化能力。基于分数蒸馏采样（Score Distillation Sampling, SDS）的先前方法可以通过从大型2D扩散模型中提取3D知识来生成多样化的3D结果，但它们通常面临每例优化时间较长且存在一致性问题。近期的研究通过微调多视图扩散模型或训练快速前馈模型解决了这些问题，从而生成了更好的3D结果。然而，由于一致性和生成分辨率的限制，这些方法仍然缺乏精细的纹理和复杂的几何结构。为了在单图像到3D转换中同时实现高保真度、一致性和效率，我们提出了一种新颖的框架Unique3D，该框架包括一个多视图扩散模型及其对应的法线扩散模型，用于生成多视图图像及其法线图；一个多级放大过程，逐步提高生成正交多视图的分辨率；以及一种称为ISOMER的即时且一致的网格重建算法，该算法将颜色和几何先验完全整合到网格结果中。大量实验表明，我们的Unique3D在几何和纹理细节方面显著优于其他图像到3D基线方法。