摘要

RGB与热成像场景解析近年来在计算机视觉领域引起了广泛关注。然而，现有大多数方法在预测图的边界提取方面表现不佳，且未能充分挖掘高层特征的潜力。此外，这些方法通常仅对RGB与热成像模态的特征进行简单融合，难以获得全面、丰富的融合特征。针对上述问题，本文提出一种边缘感知引导融合网络（Edge-aware Guidance Fusion Network, EGFNet）用于RGB热成像场景解析。首先，我们利用RGB与热成像图像生成先验边缘图，以捕捉预测图中的细节信息，并将该先验边缘信息嵌入到特征图中。为实现RGB与热成像信息的有效融合，我们设计了一种多模态融合模块，确保跨模态特征的充分交互与融合。考虑到高层语义信息的重要性，我们进一步提出了全局信息模块与语义信息模块，以从高层特征中提取丰富的语义表征。在解码阶段，采用简单的逐元素相加方式实现级联特征融合。最后，为提升解析精度，我们在语义图与边界图上引入多任务深度监督机制。在多个基准数据集上的大量实验验证了所提EGFNet的有效性，其性能显著优于当前主流方法。相关代码与实验结果已开源，详见：https://github.com/ShaohuaDong2021/EGFNet。