3 个月前

用于无限扩展3D城市生成的生成式高斯点云

用于无限扩展3D城市生成的生成式高斯点云

摘要

基于NeRF的3D城市生成方法虽展现出令人瞩目的生成效果,但其计算效率较低。近期,3D高斯溅射(3D Gaussian Splatting, 3D-GS)作为一种高效的物体级3D生成替代方案应运而生。然而,将3D-GS从有限尺度的3D物体与人体扩展至无限尺度的城市场景,面临显著挑战。无界3D城市生成带来了巨大的存储开销(如显存溢出问题),需将点云扩展至数十亿级别,通常一个覆盖10 km²范围的城市场景即需数百GB的显存(VRAM)。本文提出GaussianCity——一种专为高效合成无界3D城市而设计的生成式高斯溅射框架,仅需一次前向传播即可完成生成。我们的核心思想包含两点:1)紧凑的3D场景表示:提出BEV-Point作为高度紧凑的中间表示形式,确保无界场景下显存占用保持恒定,从而实现真正意义上的无界城市生成;2)空间感知的高斯属性解码器:设计空间感知的BEV-Point解码器以生成3D高斯属性,利用Point Serializer融合BEV点的结构与上下文特征。大量实验表明,GaussianCity在无人机视角与街景视角的3D城市生成任务中均达到当前最优性能。尤为突出的是,相较于CityDreamer,GaussianCity在保持更优生成质量的同时,实现了60倍的加速(10.72 FPS vs. 0.18 FPS)。

代码仓库

hzxie/GaussianCity
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
scene-generation-on-googleearthGaussianCity
Camera Error: 0.057
Depth Error: 0.136
FID: 86.94
KID: 0.09
scene-generation-on-kittiGaussianCity
FID: 29.5
KID: 0.017

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于无限扩展3D城市生成的生成式高斯点云 | 论文 | HyperAI超神经