4 个月前

可逆图像重缩放

可逆图像重缩放

摘要

高分辨率数字图像通常会被缩小以适应各种显示屏幕或节省存储和带宽成本,同时采用后放大技术来恢复原始分辨率或放大图像中的细节。然而,典型的图像缩小过程是非单射映射,因为高频信息的丢失导致逆向放大过程成为一个病态问题,并给从缩小后的低分辨率图像中恢复细节带来了巨大挑战。仅使用图像超分辨率方法进行放大会导致恢复性能不佳。在本研究中,我们提出通过从一个新的视角建模缩小和放大过程来解决这一问题,即一种可逆的双射变换,这可以大大缓解图像放大的病态性质。我们开发了一种具有精心设计框架和目标的可逆重缩放网络(Invertible Rescaling Net, IRN),用于生成视觉效果良好的低分辨率图像,并在缩小过程中利用一个遵循特定分布的潜在变量来捕捉丢失信息的分布。通过这种方式,可以通过将随机抽取的潜在变量与低分辨率图像一起反向传递通过网络来实现放大的可行性。实验结果表明,我们的模型在从缩小后的图像进行放大重建的定量和定性评估方面均显著优于现有方法。

基准测试

基准方法指标
image-rescaling-on-bsd100-2xIRN
PSNR: 41.32
SSIM: 0.9876
image-rescaling-on-bsd100-4xIRN
PSNR: 31.64
SSIM: 0.8826
image-rescaling-on-div2k-val-2xIRN
PSNR: 44.32
SSIM: 0.9908
image-rescaling-on-div2k-val-4xIRN
PSNR: 35.07
SSIM: 0.9318
image-rescaling-on-div2k-val-q30-2xIRN
PSNR: 29.24
SSIM: 0.8051
image-rescaling-on-div2k-val-q30-4xIRN
PSNR: 25.98
SSIM: 0.6867
image-rescaling-on-div2k-val-q50-2xIRN
PSNR: 30.20
SSIM: 0.8342
image-rescaling-on-div2k-val-q50-4xIRN
PSNR: 26.62
SSIM: 0.7096
image-rescaling-on-div2k-val-q70-2xIRN
PSNR: 31.14
SSIM: 0.8604
image-rescaling-on-div2k-val-q70-4xIRN
PSNR: 27.24
SSIM: 0.7328
image-rescaling-on-div2k-val-q90-2xIRN
PSNR: 32.91
SSIM: 0.9023
image-rescaling-on-div2k-val-q90-4xIRN
PSNR: 28.42
SSIM: 0.7777
image-rescaling-on-set14-2xIRN
PSNR: 40.79
SSIM: 0.9778
image-rescaling-on-set14-4xIRN
PSNR: 32.67
SSIM: 0.9015
image-rescaling-on-set5-2xIRN
PSNR: 43.99
SSIM: 0.9871
image-rescaling-on-set5-4xIRN
PSNR: 36.19
SSIM: 0.9451
image-rescaling-on-urban100-2xIRN
PSNR: 39.92
SSIM: 0.9865
image-rescaling-on-urban100-4xIRN
PSNR: 31.41
SSIM: 0.9157

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
可逆图像重缩放 | 论文 | HyperAI超神经