
摘要
本文探讨了实例归一化(Instance Normalization)在低层视觉任务中的作用。具体而言,我们提出了一种新颖的模块——半实例归一化模块(Half Instance Normalization Block,简称 HIN Block),用于提升图像恢复网络的性能。基于该模块,我们设计了一种简洁而强大的多阶段网络结构——HINet,其由两个子网络组成。借助 HIN Block,HINet 在多种图像恢复任务中均超越了当前最优(SOTA)方法。在图像去噪任务中,我们在 SIDD 数据集上分别以仅 7.5% 和 30% 的乘加操作数(MACs)实现了 0.11 dB 和 0.28 dB 的 PSNR 提升,并分别获得了 6.8 倍和 2.9 倍的加速效果。在图像去模糊任务中,我们在 REDS 和 GoPro 数据集上仅使用其 22.5% 的 MACs 即达到相当的性能,同时实现 3.3 倍的加速。在图像去雨任务中,我们在多个数据集的平均结果上以 1.4 倍的加速实现了 0.3 dB 的 PSNR 提升。凭借 HINet,我们在 NTIRE 2021 图像去模糊挑战赛(Track 2:JPEG 伪影去除)中荣获第一名,取得了 29.70 dB 的 PSNR 成绩。相关代码已开源,地址为:https://github.com/megvii-model/HINet。
代码仓库
megvii-model/HINet
官方
pytorch
GitHub 中提及
akalia77/hinet
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| deblurring-on-gopro | HINet | PSNR: 32.71 |
| image-denoising-on-sidd | HINet | PSNR (sRGB): 39.99 SSIM (sRGB): 0.958 |
| single-image-deraining-on-rain100h | HINet | PSNR: 30.65 SSIM: 0.894 |
| single-image-deraining-on-rain100l | HINet | PSNR: 37.28 SSIM: 0.97 |
| single-image-deraining-on-test100 | HINet | PSNR: 30.29 SSIM: 0.906 |
| single-image-deraining-on-test1200 | HINet | PSNR: 33.05 SSIM: 0.919 |
| single-image-deraining-on-test2800 | HINet | PSNR: 33.91 SSIM: 0.941 |
| spectral-reconstruction-on-arad-1k | HINet | MRAE: 0.2032 PSNR: 32.51 RMSE: 0.0303 |