
摘要
单幅图像雨纹去除是一个极具挑战性的问题,因为图像中存在非均匀的雨密度。我们提出了一种基于新型密度感知多流密集连接卷积神经网络的算法,称为DID-MDN,用于联合估计雨密度和去雨。该方法使网络能够自动确定雨密度信息,并在估计的雨密度标签指导下高效地去除相应的雨纹。为了更好地表征不同尺度和形状的雨纹,我们提出了一个多流密集连接去雨网络,该网络能够高效利用不同尺度的特征。此外,我们创建了一个包含带有雨密度标签的图像的新数据集,并用于训练所提出的密度感知网络。大量实验表明,该方法在合成数据集和真实数据集上均显著优于近期最先进的方法。此外,还进行了消融研究,以展示所提方法中不同模块带来的改进。代码可从以下地址获取:https://github.com/hezhangsprinter
代码仓库
hezhangsprinter/DID-MDN
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| single-image-deraining-on-rain100h | DIDMDN | SSIM: 0.524 |
| single-image-deraining-on-rain100l | DIDMDN | SSIM: 0.741 |
| single-image-deraining-on-raincityscapes | DID-MDN | PSNR: 28.43 SSIM: 0.9349 |
| single-image-deraining-on-test100 | DIDMDN | SSIM: 0.818 |
| single-image-deraining-on-test1200 | DIDMDN | SSIM: 0.901 |
| single-image-deraining-on-test2800 | DIDMDN | PSNR: 28.13 SSIM: 0.867 |