
摘要
近年来,基于深度卷积神经网络(CNN)的单图像超分辨率(SISR)方法取得了令人瞩目的进展。得益于深度网络强大的表征能力,以往众多方法能够有效学习低分辨率(LR)图像块与其高分辨率(HR)对应版本之间的复杂非线性映射关系。然而,过量的卷积操作会限制超分辨率技术在计算资源受限设备上的应用。此外,在实际应用中,实现任意尺度因子的超分辨率仍是一个关键挑战,而此前的方法尚未得到妥善解决。为应对上述问题,本文提出一种轻量级的信息多蒸馏网络(Information Multi-Distillation Network, IMDN),其核心是级联的信息多蒸馏块(Information Multi-Distillation Block, IMDB),该模块包含蒸馏与选择性融合两部分。具体而言,蒸馏模块分层逐步提取特征,而融合模块则根据候选特征的重要性进行聚合,其重要性评估由本文提出的对比感知通道注意力机制(Contrast-Aware Channel Attention Mechanism)实现。为处理任意尺寸的真实图像,我们设计了一种自适应裁剪策略(Adaptive Cropping Strategy, ACS),使得同一经过充分训练的模型可分块处理图像,实现高效超分辨率。大量实验结果表明,所提方法在视觉质量、内存占用和推理速度等方面均优于当前最先进的超分辨率算法。代码已公开,地址为:\url{https://github.com/Zheng222/IMDN}。
代码仓库
cai631/mbmfn
pytorch
GitHub 中提及
Zheng222/IMDN
官方
pytorch
GitHub 中提及
ofsoundof/ntire2022_esr
pytorch
GitHub 中提及
ofsoundof/imdn
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-bsd100-2x-upscaling | IMDN | PSNR: 32.19 |
| image-super-resolution-on-bsd100-3x-upscaling | IMDN | PSNR: 29.09 |
| image-super-resolution-on-bsd100-4x-upscaling | IMDN | PSNR: 27.56 |
| image-super-resolution-on-manga109-2x | IMDN | PSNR: 38.88 |
| image-super-resolution-on-manga109-3x | IMDN | PSNR: 33.61 |
| image-super-resolution-on-manga109-4x | IMDN | PSNR: 30.45 |
| image-super-resolution-on-set14-2x-upscaling | IMDN | PSNR: 33.63 |
| image-super-resolution-on-set14-3x-upscaling | IMDN | PSNR: 30.32 |
| image-super-resolution-on-set14-4x-upscaling | IMDN | PSNR: 28.58 |
| image-super-resolution-on-set5-2x-upscaling | IMDN | PSNR: 38.00 |
| image-super-resolution-on-set5-3x-upscaling | IMDN | PSNR: 34.36 |
| image-super-resolution-on-urban100-2x | IMDN | PSNR: 32.17 |
| image-super-resolution-on-urban100-3x | IMDN | PSNR: 28.17 |
| image-super-resolution-on-urban100-4x | IMDN | PSNR: 26.04 |