摘要

我们提出了一种新颖的端到端方法，仅通过一张全景图像即可预测三维房间布局。与近期最先进的方法相比，本方法不仅限于曼哈顿世界（Manhattan World）环境，还可重建由非直角垂直墙面或曲面墙围合的房间结构——即符合亚特兰大世界（Atlanta World）模型的场景。在本方法中，我们将原始的重力对齐全景图像分别投影到相机上方和下方的两个水平平面上，该表示形式以二维平面图（即地板布局）和房间高度的形式，完整编码了恢复亚特兰大世界三维房间边界表面所需的所有信息。为实现三维布局预测，我们设计了一种基于编码器-解码器结构的神经网络架构，引入循环神经网络（RNN）以捕捉长距离几何模式，并结合基于领域知识的定制化训练策略。实验结果表明，本方法在预测精度上优于当前最先进的解决方案，尤其在复杂墙面布局或曲面墙轮廓等挑战性场景下表现更为突出。