3 个月前

SPIN Road Mapper:通过空间与交互空间图推理从航拍图像中提取道路用于自动驾驶

SPIN Road Mapper:通过空间与交互空间图推理从航拍图像中提取道路用于自动驾驶

摘要

道路提取是构建自主导航系统的关键步骤。由于道路在图像中宽度不一、存在分叉,且常被地形、云层或其他天气条件遮挡,因此检测道路区域极具挑战性。单纯依赖卷积神经网络(ConvNets)难以有效解决该问题,因其在捕捉图像中不同道路段之间远距离依赖关系方面效率低下,而这种长程依赖关系对于准确提取道路连通性至关重要。为此,我们提出一种空间与交互空间图推理模块(Spatial and Interaction Space Graph Reasoning, SPIN)。该模块可无缝嵌入卷积神经网络中,通过对特征图投影生成的空间与交互空间构建图结构,并在此基础上进行图推理。在空间空间中的推理能够捕捉不同空间区域之间的依赖关系及其他上下文信息;而在投影后的交互空间中进行推理,则有助于准确区分道路与其他地表类型。因此,SPIN模块能够有效提取道路段之间的长程依赖关系,并精确分割道路与其他语义类别。此外,我们进一步引入SPIN金字塔结构,实现多尺度下的SPIN图推理,以提取多层次的特征表示。基于堆叠的沙漏模块(stacked hourglass modules)与SPIN金字塔构建的网络,在道路分割任务中表现出优于现有方法的性能。同时,所提方法具有较高的计算效率,在训练过程中显著加快收敛速度,使其适用于大规模高分辨率航空影像的处理。代码已开源,地址为:https://github.com/wgcban/SPIN_RoadMapper.git。

代码仓库

wgcban/spin_roadmapper
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
road-segementation-on-deepglobeSPIN Road Mapper (ours)
APLS: 0.7414
IoU: 0.6702
road-segementation-on-massachusetts-roadsSPIN Road Mapper (ours)
APLS: 72.49
IoU: 65.24

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SPIN Road Mapper:通过空间与交互空间图推理从航拍图像中提取道路用于自动驾驶 | 论文 | HyperAI超神经