摘要

尽管二维生成对抗网络已经实现了高分辨率图像合成，但它们在很大程度上缺乏对三维世界的理解和图像形成过程的认识。因此，这些网络无法提供对相机视角或物体姿态的精确控制。为了解决这一问题，最近的一些方法结合了中间体素表示和可微渲染技术。然而，现有的方法要么生成的图像分辨率较低，要么在分离相机和场景属性方面表现不足，例如物体身份可能会随着视角的变化而变化。本文中，我们提出了一种用于辐射场的生成模型，该模型最近在单个场景的新视角合成中取得了成功。与基于体素的表示不同，辐射场不受三维空间粗略离散化的限制，同时能够在存在重建模糊性的情况下优雅地退化，并且允许分离相机和场景属性。通过引入多尺度补丁判别器，我们展示了仅从无姿态的二维图像训练模型即可实现高分辨率图像合成。我们在多个具有挑战性的合成数据集和真实世界数据集上系统地分析了我们的方法。实验结果表明，辐射场是一种强大的生成图像合成表示方法，能够生成高保真度且三维一致的模型。