摘要
图像修复旨在从退化版本中重建高质量图像,在诸多应用场景中具有重要作用。近年来,由于在建模长距离像素依赖关系方面表现出强大能力,图像修复领域经历了从卷积神经网络(CNN)到基于Transformer模型的范式转变。本文探讨了CNN在图像修复任务中的潜力,提出了一种简洁的卷积网络架构——ConvIR,其性能可与甚至优于现有的Transformer类模型。通过对先进图像修复算法特性的重新审视,我们识别出若干推动修复模型性能提升的关键因素,由此启发我们设计了一种基于高效卷积算子的新型网络结构。大量实验表明,在五个代表性图像修复任务(包括图像去雾、图像运动/散焦去模糊、图像去雨和图像去雪)的20个基准数据集上,ConvIR在保持极低计算复杂度的同时,实现了当前最优的性能表现。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| deblurring-on-rsblur | ConvIR | Average PSNR: 34.06 |
| image-deblurring-on-gopro | ConvIR | PSNR: 33.28 SSIM: 0.963 |
| image-dehazing-on-haze4k | ConvIR | PSNR: 34.50 SSIM: 0.99 |
| image-dehazing-on-i-haze | ConvIR | PSNR: 22.44 SSIM: 0.887 |
| image-dehazing-on-o-haze | ConvIR | PSNR: 25.36 SSIM: 0.780 |
| image-dehazing-on-sots-indoor | ConvIR | PSNR: 42.72 SSIM: 0.997 |
| image-dehazing-on-sots-outdoor | ConvIR | PSNR: 39.42 SSIM: 0.996 |