3 个月前

用于真实图像恢复与增强的学习增强特征

用于真实图像恢复与增强的学习增强特征

摘要

为了从退化版本中恢复高质量的图像内容,图像修复技术在监控、计算摄影、医学成像以及遥感等多个领域具有广泛的应用。近年来,卷积神经网络(CNN)在图像修复任务中相较于传统方法取得了显著进步。现有的基于CNN的方法通常在全分辨率或逐步降低分辨率的表示上进行操作:前者虽能保持较高的空间精度,但上下文鲁棒性较弱;后者虽具备较强的语义可靠性,但空间精度不足。本文提出一种新颖的网络架构,旨在在整个网络中始终保留高分辨率的空间表示,同时从低分辨率表示中获取强健的上下文信息。该方法的核心是一个多尺度残差块,包含以下关键组件:(a)并行的多分辨率卷积流,用于提取多尺度特征;(b)多分辨率流之间的信息交互机制;(c)空间与通道注意力机制,以捕捉上下文信息;(d)基于注意力的多尺度特征融合。简而言之,该方法能够学习到融合多尺度上下文信息的丰富特征表示,同时有效保留高分辨率的空间细节。在五个真实图像基准数据集上的大量实验表明,所提出的MIRNet方法在图像去噪、超分辨率重建和图像增强等多种图像处理任务中均达到了当前最优性能。相关源代码与预训练模型已开源,可访问 https://github.com/swz30/MIRNet。

代码仓库

swz30/MIRNet
官方
pytorch
GitHub 中提及
swz30/mirnetv2
pytorch
GitHub 中提及
swz30/restormer
pytorch
GitHub 中提及
venkat2319/Mirnet
tf
GitHub 中提及
sayannath/MIRNet-Flutter
tf
GitHub 中提及
pminhtam/MIRnet_SIDD
pytorch
GitHub 中提及
swz30/CycleISP
pytorch
GitHub 中提及
Rishit-dagli/MIRNet-TFJS
tf
GitHub 中提及
swz30/MPRNet
pytorch
GitHub 中提及

基准测试

基准方法指标
image-denoising-on-dndMIRNet
PSNR (sRGB): 39.88
SSIM (sRGB): 0.956
image-denoising-on-siddMIRNet
PSNR (sRGB): 39.72
SSIM (sRGB): 0.959
spectral-reconstruction-on-arad-1kMIRNet
MRAE: 0.1890
PSNR: 33.29
RMSE: 0.0274

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于真实图像恢复与增强的学习增强特征 | 论文 | HyperAI超神经