摘要

语义分割是自动驾驶车辆的一项基础能力。近年来，随着深度学习技术的不断发展，涌现出众多高效的语义分割网络。然而，大多数现有方法仅基于可见光相机获取的RGB图像进行设计。在光照条件不佳（如黑暗环境或对向车灯造成的眩光）的情况下，RGB图像质量容易退化，这对仅依赖RGB图像的网络带来了严峻挑战。与可见光相机不同，热成像相机通过探测热辐射生成图像，能够在各种光照条件下正常工作。为实现自动驾驶车辆在复杂环境下的鲁棒且精准的语义分割，本文充分利用热成像图像的优势，提出一种新型深度神经网络，融合RGB与热成像双模态信息。本文的主要创新点在于所提出网络的架构设计：采用编码器-解码器结构，利用ResNet进行特征提取，并设计了一种新型解码器以恢复特征图的空间分辨率。实验结果表明，所提网络在性能上优于当前主流方法，达到了先进水平。