摘要
热成像是一种利用红外辐射和热能来获取物体信息的技术。与可见光成像相比,热成像具有在黑暗环境中工作以及适应光照变化的显著优势。此外,热成像还具备穿透烟雾、气溶胶、粉尘和雾气的能力,而这些因素往往是可见光成像应用(包括语义分割)中的关键限制因素。然而,当前最先进的图像语义分割方法存在两个主要问题:(i)主要集中于可见光谱图像,难以充分捕捉对应像素的上下文信息,尤其在热成像中边缘细节的表征能力不足;(ii)在高精度与高速度之间存在权衡,难以兼顾二者。针对上述挑战,本文提出了一种新型端到端可训练的卷积神经网络架构——特征横向网络(Feature Transverse Network, FTNet)。FTNet通过在多尺度分辨率下捕捉并优化特征表示,显著提升了对高分辨率图像的处理能力,同时在保证输出质量的前提下显著降低了计算成本。为验证所提FTNet的有效性,我们在多个公开可用的热成像基准数据集(包括SODA、MFNet和SCUT-Seg)上进行了大量计算机实验。实验结果表明,FTNet在多个评价维度上均优于现有先进方法,涵盖定量精度与运行速度等关键指标。相关源代码已开源,可访问 https://github.com/shreyaskamathkm/FTNet。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| thermal-image-segmentation-on-mfn-dataset | FTNet | mIOU: 47.12 |
| thermal-image-segmentation-on-scut-seg | FTNet | mIOU: 66.73 |
| thermal-image-segmentation-on-soda-dataset | FTNet | mIOU: 60.08 |