4 个月前

SSLayout360:基于半监督学习的360度全景室内布局估计

SSLayout360:基于半监督学习的360度全景室内布局估计

摘要

近年来,半监督学习和三维房间布局重建的研究取得了蓬勃发展。在本研究中,我们探索了这两个领域的交汇点,以推进实现使用较少标注数据进行更精确的三维室内场景建模的研究目标。我们提出了首个方法,通过结合标注数据和未标注数据来学习房间角落和边界表示,从而在360度全景场景中提高布局估计的准确性。通过广泛的对比实验,我们证明了该方法可以在仅使用20个标注样本的情况下,显著提升复杂室内场景的布局估计效果。当与基于合成数据预训练的布局预测器结合时,我们的半监督方法仅需12%的标签即可达到完全监督方法的效果。我们的工作为鲁棒的半监督布局估计迈出了重要的第一步,这将在有限标注数据条件下为许多三维感知应用提供支持。

代码仓库

flyreelai/sslayout360
GitHub 中提及

基准测试

基准方法指标
3d-room-layouts-from-a-single-rgb-panorama-onSSLayout360
3DIoU: 83.30
3d-room-layouts-from-a-single-rgb-panorama-on-3SSLayout360
3DIoU: 84.66
Corner Error: 0.60
Pixel Error: 1.97

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SSLayout360:基于半监督学习的360度全景室内布局估计 | 论文 | HyperAI超神经