3 个月前

用于非局部多视角立体视觉的分层先验挖掘

用于非局部多视角立体视觉的分层先验挖掘

摘要

作为计算机视觉中的一个基础性问题,多视图立体视觉(Multi-View Stereo, MVS)旨在从一组二维图像中恢复目标的三维几何结构。近年来,MVS领域的进展表明,在纹理匮乏区域恢复几何结构时,捕捉非局部结构化信息至关重要。为此,本文提出了一种面向非局部多视图立体视觉的分层先验挖掘方法(Hierarchical Prior Mining for Non-local Multi-View Stereo, HPM-MVS)。该方法的核心技术包括以下三个方面:1)提出一种非局部可扩展采样模式(Non-local Extensible Sampling Pattern, NESP),能够在不陷入局部最优解的前提下,自适应地调整采样区域的大小;2)引入一种新方法,利用非局部可靠点,并基于K近邻(K-Nearest Neighbor, KNN)构建平面先验模型,从而为先验建模困难的区域生成潜在假设;3)设计一种分层先验挖掘(Hierarchical Prior Mining, HPM)框架,用于在不同尺度上挖掘丰富的非局部先验信息,以辅助三维模型重建,该策略在细节恢复与纹理匮乏区域重建之间实现了良好的平衡。在ETH3D和Tanks & Temples数据集上的实验结果验证了所提方法在性能上的优越性以及强大的泛化能力。相关代码将随后公开发布。

代码仓库

基准测试

基准方法指标
multi-view-3d-reconstruction-on-eth3dHPM-MVS
F1 score: 87.11

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于非局部多视角立体视觉的分层先验挖掘 | 论文 | HyperAI超神经