
摘要
传统的多视图立体(MVS)方法严重依赖于光度和几何一致性约束,而基于机器学习的新MVS方法仅在后处理阶段检查多个源视图之间的几何一致性。本文提出了一种新颖的方法,在学习过程中显式地促进参考视图深度图在不同尺度下的多视图几何一致性(见图1)。我们发现,加入这种几何一致性损失可以显著加速学习过程,通过显式惩罚几何不一致的像素,将训练迭代次数减少到其他MVS方法的一半左右。我们的大量实验表明,该方法在DTU和BlendedMVS数据集上达到了新的最先进水平,并且在Tanks and Temples基准测试中取得了具有竞争力的结果。据我们所知,GC-MVSNet是首次尝试在学习过程中强制执行多视图、多尺度的几何一致性。
代码仓库
vkvats/GC-MVSNet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-reconstruction-on-dtu | GC-MVSNet | Acc: 0.330 Comp: 0.260 Overall: 0.295 |
| point-clouds-on-tanks-and-temples | GC-MVSNet | Mean F1 (Advanced): 38.74 Mean F1 (Intermediate): 62.74 |