摘要

道路障碍物（包括正障碍物与负障碍物）的分割对于自动驾驶车辆的安全导航至关重要。近年来，利用多模态数据融合（如RGB图像与深度/视差图像）的方法受到越来越多关注。尽管这些方法在提升分割精度方面取得了显著进展，但我们发现，当两种模态信息不一致时，其性能容易下降——例如，远距离障碍物在RGB图像中可见，但在深度或视差图像中无法被捕捉。为解决这一问题，本文提出一种新型的双编码器-双解码器RGB-深度/视差多模态网络，并引入残差引导融合（Residual-Guided Fusion）模块。与大多数现有网络在编码器阶段融合特征图不同，本方法在解码器阶段进行特征图融合，从而更有效地整合多模态信息。此外，我们还发布了一个大规模的RGB-深度/视差数据集，涵盖城市与乡村环境，且为正障碍物与负障碍物的分割任务提供了人工标注的精确真值标签。大量实验结果表明，所提出的网络在各项指标上均优于现有方法，达到了当前最先进的分割性能。