3 个月前

PULSE:通过生成模型潜在空间探索实现自监督图像超分辨率

PULSE:通过生成模型潜在空间探索实现自监督图像超分辨率

摘要

单图像超分辨率(Single-Image Super-Resolution, SISR)的主要目标是从对应的低分辨率(Low-Resolution, LR)输入中重建出高分辨率(High-Resolution, HR)图像。在以往的监督学习方法中,训练目标通常基于超分辨率(Super-Resolution, SR)结果与真实HR图像之间的像素级平均距离进行度量。然而,优化此类指标往往导致图像模糊,尤其是在高方差(细节丰富)区域表现尤为明显。本文提出一种全新的超分辨率问题建模方式:通过生成在下采样后能准确还原为原始低分辨率图像的逼真SR图像。为此,我们提出了一种名为PULSE(Photo Upsampling via Latent Space Exploration,基于潜在空间探索的图像上采样)的算法。该方法能够在以往文献中未见的高分辨率尺度下,完全自监督地生成高分辨率且逼真的图像,无需依赖特定的退化算子进行训练。与以往方法不同,PULSE并不从低分辨率图像出发逐步添加细节,而是直接在高分辨率自然图像流形中进行搜索,寻找那些经下采样后能够精确匹配原始LR图像的高分辨率图像。这一过程通过“下采样损失”(downscaling loss)进行形式化建模,该损失函数引导生成模型在潜在空间中的探索方向。借助高维高斯分布的统计特性,我们对搜索空间进行有效约束,从而确保生成结果的现实性。因此,PULSE所生成的超分辨率图像不仅具有高度逼真性,而且在下采样后能够精确还原至原始低分辨率输入。我们在人脸超分辨率(即人脸幻觉)领域展示了该方法的可行性验证。同时,我们还提供了针对当前实现版本的方法局限性与潜在偏差的讨论,并附带了包含相关评估指标的模型卡片(model card),以增强方法的透明度与可复现性。实验结果表明,与现有最先进方法相比,PULSE在更高分辨率和更大放大倍数下均显著提升了感知质量,实现了此前难以达到的性能突破。

代码仓库

Martion-z/pytorch-Pulse
pytorch
GitHub 中提及
marcin-laskowski/Pulse
pytorch
GitHub 中提及
deeplearningnapratica/pulse
pytorch
GitHub 中提及
Aal-Izz-Well/pulse
pytorch
GitHub 中提及
krantirk/Self-Supervised-photo
pytorch
GitHub 中提及
Martion-z/Paddle-PULSE
paddle
GitHub 中提及
ytsheng/sketch2cat-pulse
pytorch
GitHub 中提及
mlaskowski17/Pulse
pytorch
GitHub 中提及
eltechno/pulse
pytorch
GitHub 中提及
jattardo1/pulse
pytorch
GitHub 中提及
adamian98/pulse
官方
pytorch
GitHub 中提及
b5071/pulse-rev
pytorch
GitHub 中提及
kingsj0405/pulse-any-image
pytorch
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-ffhq-256-x-256-4xPULSE
PSNR: 15.74
SSIM: 0.37

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PULSE:通过生成模型潜在空间探索实现自监督图像超分辨率 | 论文 | HyperAI超神经