摘要

在本文中，我们提出了一种新的扩散模型，称为SyncDreamer，该模型可以从单视图图像生成多视图一致的图像。利用预训练的大规模2D扩散模型，最近的研究Zero123展示了从单个物体的单视图图像生成合理的新视角的能力。然而，生成图像在几何形状和颜色上保持一致性仍然是一个挑战。为了解决这一问题，我们提出了一种同步多视图扩散模型，该模型对多视图图像的联合概率分布进行建模，从而在单一反向过程中生成多视图一致的图像。SyncDreamer通过一种3D感知特征注意力机制（3D-aware feature attention mechanism），在反向过程的每一步同步所有生成图像的中间状态，该机制能够在不同视角之间关联相应的特征。实验结果表明，SyncDreamer生成的图像在不同视角下具有高度的一致性，因此非常适合用于各种3D生成任务，如新视角合成、文本到3D转换和图像到3D转换。