3 个月前

专注地投射你的视角:通过跨视图变换实现单目道路场景布局估计

专注地投射你的视角:通过跨视图变换实现单目道路场景布局估计

摘要

高精地图重建对于自动驾驶技术至关重要。基于激光雷达(LiDAR)的方法受限于昂贵的传感器部署成本以及耗时的计算过程。而基于摄像头的方法通常需要分别执行道路分割与视角变换,这一过程易导致图像失真以及内容缺失。为突破现有技术瓶颈,本文提出一种新颖的框架,仅需单张前视图像即可实现鸟瞰图(bird's-eye view)下道路布局与车辆占据区域的局部地图重建。特别地,我们设计了一种跨视角变换模块,充分考虑了不同视角之间的循环一致性约束,并有效利用视角间的关联性,以增强视角变换能力并提升场景理解精度。同时,考虑到车辆与道路之间的空间关系,我们进一步引入一种上下文感知判别器,以进一步优化重建结果。在多个公开基准数据集上的实验表明,本方法在道路布局估计与车辆占据估计两项任务中均达到了当前最优性能,尤其在车辆占据估计任务上,显著优于所有现有方法。此外,该模型在单张GPU上可实现35 FPS的运行速度,具备高效性与实时性,适用于实时全景高精地图重建。

基准测试

基准方法指标
monocular-cross-view-road-scene-parsingcrossView
mAP: 51.04%
mIoU: 38.85%
monocular-cross-view-road-scene-parsing-1crossView
mAP: 62.69%
mIoU: 47.87%
monocular-cross-view-road-scene-parsing-roadcrossView
mAP: 86.39%
mIOU: 77.47%
monocular-cross-view-road-scene-parsing-road-1crossView
mAP: 79.65%
mIoU: 68.26%
monocular-cross-view-road-scene-parsing-road-2crossView
mAP: 87.30%
mIOU: 76.56%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
专注地投射你的视角:通过跨视图变换实现单目道路场景布局估计 | 论文 | HyperAI超神经