摘要

我们提出了一种新的多视图立体（MVS）深度预测方法——3DVNet，该方法结合了先前基于深度和基于体素的MVS方法的优势。我们的核心思想是使用一个三维场景建模网络，该网络迭代更新一组粗略的深度预测值，从而生成与底层场景几何结构高度一致的高精度预测结果。与现有的深度预测技术不同，我们的方法采用了一个在世界空间中对所有深度图进行联合操作的体素化三维卷积神经网络（CNN）。因此，该网络能够学习到有意义的场景级先验知识。此外，与现有的基于体素的MVS技术不同，我们的三维CNN在一个特征增强的点云上运行，这使得多视角信息的有效聚合和深度图的灵活迭代优化成为可能。实验结果显示，在ScanNet数据集上，我们的方法在深度预测和三维重建指标方面均超过了现有最先进水平；同时，在TUM-RGBD和ICL-NUIM数据集中选取的部分场景中也表现优异。这表明我们的方法不仅有效，而且能够很好地适应新环境。