
摘要
基于NeRF的3D城市生成方法虽展现出令人瞩目的生成效果,但其计算效率较低。近期,3D高斯溅射(3D Gaussian Splatting, 3D-GS)作为一种高效的物体级3D生成替代方案应运而生。然而,将3D-GS从有限尺度的3D物体与人体扩展至无限尺度的城市场景,面临显著挑战。无界3D城市生成带来了巨大的存储开销(如显存溢出问题),需将点云扩展至数十亿级别,通常一个覆盖10 km²范围的城市场景即需数百GB的显存(VRAM)。本文提出GaussianCity——一种专为高效合成无界3D城市而设计的生成式高斯溅射框架,仅需一次前向传播即可完成生成。我们的核心思想包含两点:1)紧凑的3D场景表示:提出BEV-Point作为高度紧凑的中间表示形式,确保无界场景下显存占用保持恒定,从而实现真正意义上的无界城市生成;2)空间感知的高斯属性解码器:设计空间感知的BEV-Point解码器以生成3D高斯属性,利用Point Serializer融合BEV点的结构与上下文特征。大量实验表明,GaussianCity在无人机视角与街景视角的3D城市生成任务中均达到当前最优性能。尤为突出的是,相较于CityDreamer,GaussianCity在保持更优生成质量的同时,实现了60倍的加速(10.72 FPS vs. 0.18 FPS)。
代码仓库
hzxie/GaussianCity
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| scene-generation-on-googleearth | GaussianCity | Camera Error: 0.057 Depth Error: 0.136 FID: 86.94 KID: 0.09 |
| scene-generation-on-kitti | GaussianCity | FID: 29.5 KID: 0.017 |