4 个月前

即插即用三分支可逆块用于图像重缩放

即插即用三分支可逆块用于图像重缩放

摘要

高分辨率(HR)图像通常被降尺度为低分辨率(LR),以减少带宽,随后再进行放大以恢复其原始细节。近期在图像重缩放算法方面的进展采用了可逆神经网络(INNs),创建了一个统一的框架,用于降尺度和升尺度,确保了LR和HR图像之间的一对一映射。传统方法利用基于双分支的普通可逆块,分别处理高频和低频信息,通常依赖特定分布来建模高频分量。然而,在RGB域直接处理低频分量会导致通道冗余,限制了图像重建的效率。为了解决这些挑战,我们提出了一种插件式三分支可逆块(T-InvBlocks),该块将低频分支分解为亮度(Y)和色度(CbCr)分量,减少了冗余并增强了特征处理能力。此外,在升尺度过程中,我们采用全零映射策略处理高频分量,将关键的重缩放信息集中在LR图像中。我们的T-InvBlocks可以无缝集成到现有的重缩放模型中,提高了在一般重缩放任务以及涉及有损压缩场景中的性能。大量实验验证了我们的方法在高分辨率图像重建方面达到了新的技术水平。

代码仓库

jingwei-bao/t-invblocks
pytorch
GitHub 中提及

基准测试

基准方法指标
image-rescaling-on-bsd100-2xT-IRN
PSNR: 42.68
SSIM: 0.9913
image-rescaling-on-bsd100-4xT-IRN
PSNR: 31.64
SSIM: 0.8837
image-rescaling-on-div2k-val-2xT-IRN
PSNR: 45.46
SSIM: 0.9932
image-rescaling-on-div2k-val-4xT-IRN
PSNR: 35.10
SSIM: 0.9328
image-rescaling-on-div2k-val-q30-2xT-SAIN
PSNR: 31.89
SSIM: 0.8912
image-rescaling-on-div2k-val-q30-4xT-SAIN
PSNR: 28.08
SSIM: 0.7893
image-rescaling-on-div2k-val-q50-2xT-SAIN
PSNR: 33.71
SSIM: 0.9210
image-rescaling-on-div2k-val-q50-4xT-SAIN
PSNR: 29.43
SSIM: 0.8237
image-rescaling-on-div2k-val-q70-2xT-SAIN
PSNR: 35.20
SSIM: 0.9384
image-rescaling-on-div2k-val-q70-4xT-SAIN
PSNR: 30.34
SSIM: 0.8421
image-rescaling-on-div2k-val-q90-2xT-SAIN
PSNR: 36.30
SSIM: 0.9478
image-rescaling-on-div2k-val-q90-4xT-SAIN
PSNR: 30.92
SSIM: 0.8517
image-rescaling-on-set14-2xT-IRN
PSNR: 41.70
SSIM: 0.9809
image-rescaling-on-set14-4xT-IRN
PSNR: 32.70
SSIM: 0.9003
image-rescaling-on-set5-2xT-IRN
PSNR: 44.86
SSIM: 0.9883
image-rescaling-on-set5-4xT-IRN
PSNR: 36.29
SSIM: 0.9452
image-rescaling-on-urban100-2xT-IRN
PSNR: 41.05
SSIM: 0.9899
image-rescaling-on-urban100-4xT-IRN
PSNR: 31.19
SSIM: 0.9132

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
即插即用三分支可逆块用于图像重缩放 | 论文 | HyperAI超神经