摘要

语义场景理解是自动驾驶中的基础性任务，为众多下游应用提供支撑。在光照条件恶劣的情况下，热成像图像能够为RGB图像提供互补信息。为此，已有大量基于RGB-热成像多模态数据的融合网络被提出，用于实现语义场景理解。然而，当前最先进的方法通常仅通过网络简单地融合多模态特征，缺乏对RGB图像与热成像图像内在特性进行深入分析与建模，因而其融合机制缺乏可解释性。为解决这一问题，本文提出IGFNet——一种光照引导的RGB-热成像语义场景理解融合网络。该网络通过光照估计模块生成权重掩码，动态地对不同网络阶段的RGB与热成像特征图进行加权融合，充分挖掘两种模态在不同光照条件下的互补优势。实验结果表明，IGFNet在MFNet数据集上的表现优于现有最先进方法。项目代码已开源，地址为：https://github.com/lab-sun/IGFNet。