3 个月前

HINet:用于图像恢复的半实例归一化网络

HINet:用于图像恢复的半实例归一化网络

摘要

本文探讨了实例归一化(Instance Normalization)在低层视觉任务中的作用。具体而言,我们提出了一种新颖的模块——半实例归一化模块(Half Instance Normalization Block,简称 HIN Block),用于提升图像恢复网络的性能。基于该模块,我们设计了一种简洁而强大的多阶段网络结构——HINet,其由两个子网络组成。借助 HIN Block,HINet 在多种图像恢复任务中均超越了当前最优(SOTA)方法。在图像去噪任务中,我们在 SIDD 数据集上分别以仅 7.5% 和 30% 的乘加操作数(MACs)实现了 0.11 dB 和 0.28 dB 的 PSNR 提升,并分别获得了 6.8 倍和 2.9 倍的加速效果。在图像去模糊任务中,我们在 REDS 和 GoPro 数据集上仅使用其 22.5% 的 MACs 即达到相当的性能,同时实现 3.3 倍的加速。在图像去雨任务中,我们在多个数据集的平均结果上以 1.4 倍的加速实现了 0.3 dB 的 PSNR 提升。凭借 HINet,我们在 NTIRE 2021 图像去模糊挑战赛(Track 2:JPEG 伪影去除)中荣获第一名,取得了 29.70 dB 的 PSNR 成绩。相关代码已开源,地址为:https://github.com/megvii-model/HINet。

代码仓库

megvii-model/HINet
官方
pytorch
GitHub 中提及
akalia77/hinet
pytorch
GitHub 中提及

基准测试

基准方法指标
deblurring-on-goproHINet
PSNR: 32.71
image-denoising-on-siddHINet
PSNR (sRGB): 39.99
SSIM (sRGB): 0.958
single-image-deraining-on-rain100hHINet
PSNR: 30.65
SSIM: 0.894
single-image-deraining-on-rain100lHINet
PSNR: 37.28
SSIM: 0.97
single-image-deraining-on-test100HINet
PSNR: 30.29
SSIM: 0.906
single-image-deraining-on-test1200HINet
PSNR: 33.05
SSIM: 0.919
single-image-deraining-on-test2800HINet
PSNR: 33.91
SSIM: 0.941
spectral-reconstruction-on-arad-1kHINet
MRAE: 0.2032
PSNR: 32.51
RMSE: 0.0303

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HINet:用于图像恢复的半实例归一化网络 | 论文 | HyperAI超神经