摘要

单目3D语义场景补全（SSC）近年来因其能够从单一图像预测复杂的语义和几何形状而受到广泛关注，无需3D输入。在本文中，我们识别了当前最先进方法中的几个关键问题，包括投影到3D空间的2D特征的特征模糊性（Feature Ambiguity）、3D卷积的姿态模糊性（Pose Ambiguity）以及不同深度层次上的3D卷积计算不平衡（Computation Imbalance）。为了解决这些问题，我们设计了一种新颖的归一化设备坐标场景补全网络（NDC-Scene），该网络通过逐步恢复深度维度的方式，直接将2D特征图扩展到归一化设备坐标（NDC）空间，而不是直接扩展到世界空间。实验结果表明，将大部分计算从目标3D空间转移到所提出的归一化设备坐标空间对单目SSC任务有益。此外，我们设计了一种深度自适应双解码器（Depth-Adaptive Dual Decoder），以同时上采样并融合2D和3D特征图，进一步提升整体性能。我们的大量实验验证了所提出的方法在室外SemanticKITTI数据集和室内NYUv2数据集上均显著优于现有最先进方法。我们的代码已发布在 https://github.com/Jiawei-Yao0812/NDCScene。