4 个月前

基于深度曼哈顿霍夫变换的全景图像立方体贴图三维房间布局估计

基于深度曼哈顿霍夫变换的全景图像立方体贴图三维房间布局估计

摘要

显著的几何结构可以通过全局线框图紧凑地描述,从而从单张全景图像中估计出3D房间布局。基于这一观察,我们提出了一种替代方法,通过在可学习的霍夫变换(Hough Transform)模块中建模长程几何模式来估计3D空间中的墙壁。我们将立方体贴图中的图像特征转换到曼哈顿世界(Manhattan world)的霍夫空间,并直接将特征映射到几何输出。卷积层不仅学习局部梯度类线特征,还利用全局信息成功预测被遮挡的墙壁,且网络结构简单。与大多数先前的工作不同,我们的预测是在每个立方体贴图块上独立进行的,然后将这些预测结果组装以获得最终的布局估计。实验结果表明,我们在预测精度和性能方面达到了与当前最先进方法相当的结果。代码可在 https://github.com/Starrah/DMH-Net 获取。

代码仓库

starrah/dmh-net
官方
pytorch

基准测试

基准方法指标
3d-room-layouts-from-a-single-rgb-panorama-onDMH-Net
3DIoU: 85.48
3d-room-layouts-from-a-single-rgb-panorama-on-3DMH-Net
3DIoU: 84.93
Corner Error: 0.67
Pixel Error: 1.93

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于深度曼哈顿霍夫变换的全景图像立方体贴图三维房间布局估计 | 论文 | HyperAI超神经