3 个月前

全景图像中密集预测的畸变感知卷积滤波器

全景图像中密集预测的畸变感知卷积滤波器

摘要

随着全景图像与视频在市场上的广泛应用,尤其是全向相机(如全景相机)等专用捕获设备以及头戴式显示器(如头戴式显示设备)等三维可视化设备的日益普及,对三维数据的需求持续增长。然而,能够捕获三维全景数据的三维传感器成本高昂且难以获取。为弥补这一技术空白,本文提出一种基于学习的全景深度图估计方法,仅需单张图像即可实现深度预测。该方法采用一种专门设计的、具备畸变感知能力的可变形卷积滤波器,使其能够利用常规透视图像进行训练,随后直接用于全景图像的深度回归,从而避免了构建标注全景训练数据集所带来的巨大工作量。此外,我们还验证了该方法在新兴应用任务中的有效性,包括全景单目SLAM(即时定位与地图构建)、全景语义分割以及全景风格迁移等。

基准测试

基准方法指标
depth-estimation-on-stanford2d3d-panoramicDisConv
RMSE: 0.369
absolute relative error: 0.176
semantic-segmentation-on-stanford2d3d-1DisConv
mIoU: 34.6%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
全景图像中密集预测的畸变感知卷积滤波器 | 论文 | HyperAI超神经