摘要
我们提出IRNeXt,一种简洁而高效的卷积神经网络架构,用于图像恢复任务。近年来,由于在建模长距离像素交互方面具有强大能力,Transformer模型在图像恢复领域占据主导地位。本文中,我们深入挖掘了卷积神经网络(CNN)的潜力,结果表明,我们的基于CNN的模型在多个图像恢复任务上能够达到与Transformer模型相当甚至更优的性能,同时计算开销显著降低。通过对先进图像恢复算法特征的重新审视,我们识别出若干推动恢复模型性能提升的关键因素,这促使我们设计了一种基于低成本卷积算子的新型网络架构。大量实验证明,IRNeXt在多种图像恢复任务(包括图像去雾、单图像离焦/运动模糊去模糊、图像去雨、图像去雪)上,于多个数据集上均实现了当前最优的性能表现,且具有极低的计算复杂度。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| deblurring-on-rsblur | IRNext | Average PSNR: 34.08 |
| image-deblurring-on-gopro | IRNeXt | PSNR: 33.16 SSIM: 0.962 |
| image-dehazing-on-sots-indoor | IRNeXt | PSNR: 41.21 SSIM: 0.996 |
| image-dehazing-on-sots-outdoor | IRNeXt | PSNR: 39.18 SSIM: 0.996 |