4 个月前

自不对称可逆网络用于压缩感知图像重缩放

自不对称可逆网络用于压缩感知图像重缩放

摘要

高分辨率(HR)图像通常会被缩放到低分辨率(LR)以获得更好的显示效果,之后再放大回原始尺寸以恢复细节。近期在图像重缩放领域的研究将缩小和放大视为一个统一的任务,并通过可逆网络学习HR和LR之间的双射映射。然而,在实际应用中(例如社交媒体),大多数图像为了传输而被压缩。有损压缩会导致LR图像上的不可逆信息丢失,从而损害反向放大过程并降低重建精度。本文提出了一种用于压缩感知图像重缩放的自非对称可逆网络(Self-Asymmetric Invertible Network, SAIN)。为了解决分布偏移问题,我们首先开发了一个端到端的非对称框架,分别针对高质量和压缩后的LR图像设计了两个独立的双射映射。然后,基于对该框架的经验分析,我们使用各向同性的高斯混合模型来建模丢失的信息分布(包括缩小和压缩),并提出了增强型可逆块以在一个前向传递中生成高质量/压缩的LR图像。此外,我们设计了一系列损失函数来规范学习到的LR图像并增强其可逆性。广泛的实验表明,在标准图像压缩格式(即JPEG和WebP)下,SAIN在各种图像重缩放数据集上无论是在定量评估还是定性评估方面都表现出一致的改进。

代码仓库

yang-jin-hai/sain
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-rescaling-on-div2k-val-q30-2xSAIN
PSNR: 31.47
SSIM: 0.8747
image-rescaling-on-div2k-val-q30-4xSAIN
PSNR: 27.90
SSIM: 0.7745
image-rescaling-on-div2k-val-q50-2xSAIN
PSNR: 33.17
SSIM: 0.9082
image-rescaling-on-div2k-val-q50-4xSAIN
PSNR: 29.05
SSIM: 0.8088
image-rescaling-on-div2k-val-q70-2xSAIN
PSNR: 34.73
SSIM: 0.9296
image-rescaling-on-div2k-val-q70-4xSAIN
PSNR: 29.83
SSIM: 0.8272
image-rescaling-on-div2k-val-q90-2xSAIN
PSNR: 35.96
SSIM: 0.9419
image-rescaling-on-div2k-val-q90-4xSAIN
PSNR: 30.31
SSIM: 0.8367

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
自不对称可逆网络用于压缩感知图像重缩放 | 论文 | HyperAI超神经