Fernandez-LabradorClara ; FacilJose M. ; Perez-YusAlejandro ; DemonceauxCédric ; CiveraJavier ; GuerreroJose J.

摘要
在室内场景中恢复三维布局的问题一直是过去十年的核心研究课题。然而,仍有许多主要挑战尚未解决。其中最相关的问题之一是,现有的大多数先进方法对场景做出了隐含或显式的假设——例如,盒状或曼哈顿布局(Manhattan layouts)。此外,当前的方法计算成本高昂,不适用于机器人导航和增强现实/虚拟现实(AR/VR)等实时应用。在本工作中,我们提出了CFL(Corners for Layout),这是首个用于360度图像三维布局恢复的端到端模型。实验结果表明,我们的方法在放松关于场景的假设的同时,性能优于现有方法且成本更低。通过使用EquiConvs(一种直接应用于球面投影的卷积操作),我们的模型在相机位置变化方面也表现出比传统方法更好的泛化能力,因为这种卷积对等距柱状投影的畸变具有不变性。CFL网页:https://cfernandezlab.github.io/CFL/
代码仓库
palver7/CFLPytorch
pytorch
GitHub 中提及
palver7/EquiConvPytorch
pytorch
GitHub 中提及
cfernandezlab/CFL
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-room-layouts-from-a-single-rgb-panorama-on | CFL | 3DIoU: 78.79% |