
摘要
在本研究中,我们提出将长波红外(LWIR)图像作为基于学习方法进行语义分割的可行辅助模态。首先,针对RGB-热成像相机标定问题,我们提出了一种被动式标定靶标及其标定流程,该方法具有便携性且使用简便。其次,我们构建了PST900数据集,该数据集包含894对同步采集并经过标定的RGB与热成像图像,涵盖来自DARPA地下挑战赛(DARPA Subterranean Challenge)的四个不同类别,且每像素均标注了人体信息。最后,我们提出了一种用于快速语义分割的卷积神经网络(CNN)架构,该架构能够有效融合RGB与热成像数据,并在保持RGB图像独立利用能力的同时实现性能提升。我们在所构建的数据集上将所提方法与当前最先进方法进行对比,结果表明,本方法在该数据集上表现优于现有方法。
代码仓库
ShreyasSkandanS/pst900_thermal_rgb
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| thermal-image-segmentation-on-mfn-dataset | PST900 | mIOU: 48.4 |
| thermal-image-segmentation-on-pst900 | PSTNet | mIoU: 68.4 |