摘要

推断被遮挡表面的三维几何结构及其语义意义是一项极具挑战性的任务。最近，提出了一种首次实现端到端学习的方法，该方法可以从单个深度图像完成场景重建。该方法将场景体素化，并预测每个体素是否被占据，如果被占据，则进一步预测其语义类别标签。在本研究中，我们提出了一种双流方法，该方法利用从RGB图像中推断出的深度信息和语义信息来完成这一任务。该方法构建了一个不完整的三维语义张量，使用紧凑的三通道编码表示推断出的语义信息，并通过3D卷积神经网络（3D CNN）推断出完整的三维语义张量。在我们的实验评估中，我们展示了所提出的双流方法在语义场景补全方面显著优于现有最先进方法。