3 个月前

基于分布变换的序列层次学习用于图像超分辨率

基于分布变换的序列层次学习用于图像超分辨率

摘要

近年来,多尺度设计已被广泛应用于图像超分辨率(Super-Resolution, SR)研究中,以挖掘层次化的特征信息。现有方法通常通过构建复杂的模块结构或渐进式网络架构来实现图像恢复。一般而言,大尺度特征更侧重于结构化与高层语义信息,而小尺度特征则包含丰富的细节与纹理信息。从这一观察出发,大尺度特征的信息可由小尺度特征逐步推导获得。基于此,本文提出一种序列层次学习超分辨率网络(Sequential Hierarchical Learning Super-Resolution Network, SHSR),以实现高效的图像超分辨率重建。具体而言,我们充分考虑了特征在不同尺度间的关联性,设计了一种序列多尺度块(Sequential Multi-scale Block, SMB),通过递归方式逐步挖掘层次化特征信息。SMB基于卷积操作的线性特性,并在参数受限条件下构建,具有良好的计算效率。此外,除序列层次学习机制外,本文还深入研究了特征图之间的相关性,提出一种分布变换块(Distribution Transformation Block, DTB)。与基于注意力机制的方法不同,DTB采用归一化方式实现特征变换,通过可学习的缩放(scaling)与偏置(bias)因子,联合建模空间维度与通道维度之间的相关性。实验结果表明,在放大因子为×4的情况下,SHSR在保持优于当前最先进方法的定量指标与视觉质量的同时,参数量减少近34%,乘加操作次数(MACs)降低约50%。为进一步提升性能而无需额外训练,本文进一步构建了扩展模型SHSR⁺,该模型引入自集成(self-ensemble)策略,在放大因子为×4时,其性能可与更大规模网络相媲美,同时仅需约92%的参数量和42%的MACs,展现出卓越的效率与性能平衡。

基准测试

基准方法指标
image-super-resolution-on-manga109-2xPMRN+
PSNR: 39.15
SSIM: 0.9781
image-super-resolution-on-manga109-3xPMRN+
PSNR: 34.1
SSIM: 0.9480
image-super-resolution-on-manga109-4xPMRN+
PSNR: 31.07
SSIM: 0.9144
image-super-resolution-on-set14-3x-upscalingPMRN+
PSNR: 29.24
SSIM: 0.8087
image-super-resolution-on-set14-4x-upscalingPMRN+
PSNR: 27.72
SSIM: 0.7405
image-super-resolution-on-set5-2x-upscalingPMRN+
PSNR: 38.22
SSIM: 0.9612
image-super-resolution-on-set5-3x-upscalingPMRN+
PSNR: 34.65
SSIM: 0.9289
image-super-resolution-on-urban100-2xPMRN+
PSNR: 32.78
SSIM: 0.9342

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于分布变换的序列层次学习用于图像超分辨率 | 论文 | HyperAI超神经