4 个月前

GC-MVSNet:多视图、多尺度、几何一致的多视图立体重建

GC-MVSNet:多视图、多尺度、几何一致的多视图立体重建

摘要

传统的多视图立体(MVS)方法严重依赖于光度和几何一致性约束,而基于机器学习的新MVS方法仅在后处理阶段检查多个源视图之间的几何一致性。本文提出了一种新颖的方法,在学习过程中显式地促进参考视图深度图在不同尺度下的多视图几何一致性(见图1)。我们发现,加入这种几何一致性损失可以显著加速学习过程,通过显式惩罚几何不一致的像素,将训练迭代次数减少到其他MVS方法的一半左右。我们的大量实验表明,该方法在DTU和BlendedMVS数据集上达到了新的最先进水平,并且在Tanks and Temples基准测试中取得了具有竞争力的结果。据我们所知,GC-MVSNet是首次尝试在学习过程中强制执行多视图、多尺度的几何一致性。

代码仓库

vkvats/GC-MVSNet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-reconstruction-on-dtuGC-MVSNet
Acc: 0.330
Comp: 0.260
Overall: 0.295
point-clouds-on-tanks-and-templesGC-MVSNet
Mean F1 (Advanced): 38.74
Mean F1 (Intermediate): 62.74

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
GC-MVSNet:多视图、多尺度、几何一致的多视图立体重建 | 论文 | HyperAI超神经