4 个月前

实时高分辨率照片级图像翻译:拉普拉斯金字塔翻译网络

实时高分辨率照片级图像翻译:拉普拉斯金字塔翻译网络

摘要

现有的图像到图像转换(I2IT)方法要么受限于低分辨率图像,要么由于在高分辨率特征图上进行卷积计算时负担过重而导致推理时间较长。本文中,我们专注于基于闭式拉普拉斯金字塔分解和重构的高分辨率照片级真实感I2IT任务的加速。具体而言,我们揭示了属性变换(如光照和颜色操作)主要与低频分量相关,而内容细节可以在高频分量上自适应地进行细化。因此,我们提出了一种拉普拉斯金字塔转换网络(LPTN),该网络可以同时执行这两个任务。我们在设计用于转换低频分量的轻量级网络时降低了分辨率,并采用了一种渐进掩码策略来高效地细化高频分量。我们的模型避免了大部分因处理高分辨率特征图而消耗的大量计算,并忠实地保留了图像细节。大量的实验结果表明,所提出的方法可以在单个普通GPU上实时转换4K图像,同时其变换性能与现有方法相当。数据集和代码可在以下链接获取:https://github.com/csjliang/LPTN。

代码仓库

csjliang/LPTN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
photo-retouching-on-mit-adobe-5kLPTN (L=3)
PSNR: 22.02
SSIM: 0.879
photo-retouching-on-mit-adobe-5k-1080pLPTN (L=3)
PSNR: 22.09
SSIM: 0.883
photo-retouching-on-mit-adobe-5k-1080pDPE
PSNR: 21.94
SSIM: 0.885
photo-retouching-on-mit-adobe-5k-480pDPE
PSNR: 21.99
SSIM: 0.875
photo-retouching-on-mit-adobe-5k-480pLPTN (L=3)
PSNR: 22.12
SSIM: 0.878

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
实时高分辨率照片级图像翻译:拉普拉斯金字塔翻译网络 | 论文 | HyperAI超神经