4 个月前

pi-GAN:用于3D感知图像合成的周期性隐式生成对抗网络

pi-GAN:用于3D感知图像合成的周期性隐式生成对抗网络

摘要

我们已经见证了在3D感知图像合成领域的快速进展,这得益于生成视觉模型和神经渲染技术的最新突破。然而,现有的方法在两个方面存在不足:首先,它们可能缺乏底层的3D表示,或者依赖于视角不一致的渲染技术,因此生成的图像无法实现多视角一致性;其次,这些方法通常依赖于表达能力不足的网络架构,导致其生成结果在图像质量上有所欠缺。为此,我们提出了一种名为周期性隐式生成对抗网络($\pi$-GAN 或 pi-GAN)的新生成模型,用于高质量的3D感知图像合成。$\pi$-GAN 利用具有周期激活函数的神经表示和体素渲染技术,以细粒度的方式表示场景,并确保视角一致性。该方法在多个真实和合成数据集上取得了3D感知图像合成领域的最先进成果。

代码仓库

lucidrains/pi-GAN-pytorch
pytorch
GitHub 中提及
Godofnothing/pi-GAN
pytorch
GitHub 中提及
marcoamonteiro/pi-GAN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
scene-generation-on-avdpi-GAN
FID: 98.76
SwAV-FID: 9.54
scene-generation-on-replicapi-GAN
FID: 166.55
SwAV-FID: 13.17
scene-generation-on-vizdoompi-GAN
FID: 143.55
SwAV-FID: 15.26

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
pi-GAN:用于3D感知图像合成的周期性隐式生成对抗网络 | 论文 | HyperAI超神经