
摘要
道路提取是构建自主导航系统的关键步骤。由于道路在图像中宽度不一、存在分叉,且常被地形、云层或其他天气条件遮挡,因此检测道路区域极具挑战性。单纯依赖卷积神经网络(ConvNets)难以有效解决该问题,因其在捕捉图像中不同道路段之间远距离依赖关系方面效率低下,而这种长程依赖关系对于准确提取道路连通性至关重要。为此,我们提出一种空间与交互空间图推理模块(Spatial and Interaction Space Graph Reasoning, SPIN)。该模块可无缝嵌入卷积神经网络中,通过对特征图投影生成的空间与交互空间构建图结构,并在此基础上进行图推理。在空间空间中的推理能够捕捉不同空间区域之间的依赖关系及其他上下文信息;而在投影后的交互空间中进行推理,则有助于准确区分道路与其他地表类型。因此,SPIN模块能够有效提取道路段之间的长程依赖关系,并精确分割道路与其他语义类别。此外,我们进一步引入SPIN金字塔结构,实现多尺度下的SPIN图推理,以提取多层次的特征表示。基于堆叠的沙漏模块(stacked hourglass modules)与SPIN金字塔构建的网络,在道路分割任务中表现出优于现有方法的性能。同时,所提方法具有较高的计算效率,在训练过程中显著加快收敛速度,使其适用于大规模高分辨率航空影像的处理。代码已开源,地址为:https://github.com/wgcban/SPIN_RoadMapper.git。
代码仓库
wgcban/spin_roadmapper
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| road-segementation-on-deepglobe | SPIN Road Mapper (ours) | APLS: 0.7414 IoU: 0.6702 |
| road-segementation-on-massachusetts-roads | SPIN Road Mapper (ours) | APLS: 72.49 IoU: 65.24 |