摘要

多光谱行人检测作为一项有前景的多模态解决方案，近年来受到广泛关注，旨在应对光照变化与天气条件带来的挑战。现有大多数多模态方法均假设所有输入数据在空间上完全重叠，然而在实际应用中，由于传感器配置的复杂性，这种完全重叠的数据对并不常见。针对这一问题，本文研究了输入数据未配对的多光谱行人检测任务。为此，我们提出了一种新颖的单阶段检测框架，该框架引入多标签学习机制，根据输入图像对的特定状态（如可见光与红外图像的配准程度）为其分配独立标签，从而学习具有输入状态感知能力的特征表示。此外，我们还设计了一种新颖的数据增强策略，通过施加几何变换来合成未配对的多光谱图像，以提升模型的泛化能力。在大量实验中，我们验证了所提方法在多种真实场景下的有效性，包括完全重叠与部分重叠的立体视觉图像。相关代码与演示视频已开源，地址为：https://github.com/sejong-rcv/MLPD-Multi-Label-Pedestrian-Detection。