
摘要
基于学习的多视图立体(MVS)方法已经展示了令人鼓舞的结果。然而,现有的大多数网络并未显式考虑像素级别的可见性,导致被遮挡像素的成本聚合出现错误。在本文中,我们通过匹配不确定性估计,在MVS网络中显式推断并整合了像素级别的遮挡信息。成对的不确定性图与成对深度图一起推断,并进一步作为多视图成本体融合过程中的加权指导。因此,在成本融合过程中,被遮挡像素的负面影响得到了抑制。所提出的框架Vis-MVSNet显著提高了严重遮挡场景下的深度精度。我们在DTU、BlendedMVS和Tanks and Temples数据集上进行了广泛的实验,以验证所提框架的有效性。
代码仓库
jzhangbs/Vis-MVSNet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-reconstruction-on-dtu | Vis-MVSNet | Acc: 0.369 Comp: 0.361 Overall: 0.365 |
| point-clouds-on-dtu | Vis-MVSNet | Overall: 0.365 |
| point-clouds-on-tanks-and-temples | Vis-MVSNet | Mean F1 (Intermediate): 60.03 |