4 个月前

多视图立体表示重访:区域感知MVSNet

多视图立体表示重访:区域感知MVSNet

摘要

基于深度学习的多视图立体视觉已成为从多个视角重建完整几何细节物体的强大范式。现有的大多数方法仅通过最小化预测点与光线和表面交点之间的差距来估计像素级深度值,这通常忽略了表面拓扑结构。对于无法正确重建的无纹理区域和表面边界而言,这一点尤为重要。为了解决这一问题,我们建议利用点到表面的距离,从而使模型能够感知更广泛的表面范围。为此,我们从代价体积中预测距离体积,以估计表面周围点的带符号距离。我们提出的RA-MVSNet具有补丁感知能力,因为通过将假设平面与表面的一块区域关联起来,其感知范围得到了增强。因此,该方法可以提高无纹理区域的完整性并减少边界处的异常值。此外,引入的距离体积还可以生成具有精细细节的网格拓扑结构。与传统的基于深度学习的多视图立体视觉方法相比,我们的RA-MVSNet方法通过利用带符号距离监督获得了更加完整的重建结果。在DTU和Tanks & Temples数据集上的实验表明,我们提出的方法达到了当前最先进的水平。

基准测试

基准方法指标
3d-reconstruction-on-dtuRA-MVSNet
Acc: 0.326
Comp: 0.268
Overall: 0.297
point-clouds-on-tanks-and-templesRA-MVSNet
Mean F1 (Advanced): 39.93
Mean F1 (Intermediate): 65.72

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多视图立体表示重访:区域感知MVSNet | 论文 | HyperAI超神经