摘要

我们介绍了HoHoNet，这是一种用于全方位理解室内360度全景图的多功能且高效的框架，采用了潜在水平特征（LHFeat）。紧凑的LHFeat沿垂直方向展平了特征，并在房间布局重建中成功地建模了每列模态。HoHoNet在两个重要方面取得了进展。首先，深度架构经过重新设计，运行速度更快且精度更高。其次，我们提出了一种新颖的从地平线到密集模块（horizon-to-dense module），该模块放宽了每列输出形状的约束，使得可以从LHFeat进行逐像素的密集预测。HoHoNet速度快：使用ResNet-50和ResNet-34主干网络时，分别可以达到52帧/秒和110帧/秒的速度，以对高分辨率$512 \times 1024$全景图进行密集模态建模。HoHoNet也具有较高的准确性。在布局估计和语义分割任务中，HoHoNet达到了与当前最先进方法相当的结果。在密集深度估计任务中，HoHoNet大幅超越了所有先前的方法。