
摘要
在低光照条件下,各种视觉任务如图像融合、行人检测和图像到图像转换都面临巨大挑战,因为有效目标区域会丢失。在这种情况下,可以将红外图像和可见光图像结合使用,以提供丰富的细节信息和有效的目标区域。本文介绍了LLVIP(低光照视觉的可见光-红外配对数据集),该数据集包含30976张图像,即15488对图像,其中大多数是在非常黑暗的场景下拍摄的,所有图像在时间和空间上均严格对齐。数据集中的人行道已进行标注。我们将该数据集与其他可见光-红外数据集进行了比较,并评估了一些流行的视觉算法(包括图像融合、行人检测和图像到图像转换)在该数据集上的性能。实验结果表明了融合对图像信息的互补效应,并发现了现有三种视觉任务算法在极低光照条件下的不足之处。我们相信LLVIP数据集将通过促进极低光照应用中的图像融合、行人检测和图像到图像转换为计算机视觉社区做出贡献。该数据集已在https://bupt-ai-cz.github.io/LLVIP发布。还提供了原始数据以支持进一步的研究,例如图像配准。
代码仓库
bupt-ai-cz/LLVIP
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-llvip | pix2pix | PSNR: 10.769 SSIM: 0.1757 |
| image-to-image-translation-on-llvip | pix2pix | PSNR: 10.769 SSIM: 0.1757 |
| pedestrian-detection-on-llvip | YoloV5-RGB | AP: 0.527 log average miss rate: 22.59% |
| pedestrian-detection-on-llvip | YoloV3-RGB | AP: 0.466 log average miss rate: 37.70% |
| thermal-infrared-pedestrian-detection-on | YoloV3 | AP: 0.582 |
| thermal-infrared-pedestrian-detection-on | YoloV5 | AP: 0.670 |