4 个月前

布局角点:从360度图像中端到端恢复布局

布局角点:从360度图像中端到端恢复布局

摘要

在室内场景中恢复三维布局的问题一直是过去十年的核心研究课题。然而,仍有许多主要挑战尚未解决。其中最相关的问题之一是,现有的大多数先进方法对场景做出了隐含或显式的假设——例如,盒状或曼哈顿布局(Manhattan layouts)。此外,当前的方法计算成本高昂,不适用于机器人导航和增强现实/虚拟现实(AR/VR)等实时应用。在本工作中,我们提出了CFL(Corners for Layout),这是首个用于360度图像三维布局恢复的端到端模型。实验结果表明,我们的方法在放松关于场景的假设的同时,性能优于现有方法且成本更低。通过使用EquiConvs(一种直接应用于球面投影的卷积操作),我们的模型在相机位置变化方面也表现出比传统方法更好的泛化能力,因为这种卷积对等距柱状投影的畸变具有不变性。CFL网页:https://cfernandezlab.github.io/CFL/

代码仓库

palver7/CFLPytorch
pytorch
GitHub 中提及
palver7/EquiConvPytorch
pytorch
GitHub 中提及
cfernandezlab/CFL
tf
GitHub 中提及

基准测试

基准方法指标
3d-room-layouts-from-a-single-rgb-panorama-onCFL
3DIoU: 78.79%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
布局角点:从360度图像中端到端恢复布局 | 论文 | HyperAI超神经