
摘要
现有的图像到图像转换(I2IT)方法要么受限于低分辨率图像,要么由于在高分辨率特征图上进行卷积计算时负担过重而导致推理时间较长。本文中,我们专注于基于闭式拉普拉斯金字塔分解和重构的高分辨率照片级真实感I2IT任务的加速。具体而言,我们揭示了属性变换(如光照和颜色操作)主要与低频分量相关,而内容细节可以在高频分量上自适应地进行细化。因此,我们提出了一种拉普拉斯金字塔转换网络(LPTN),该网络可以同时执行这两个任务。我们在设计用于转换低频分量的轻量级网络时降低了分辨率,并采用了一种渐进掩码策略来高效地细化高频分量。我们的模型避免了大部分因处理高分辨率特征图而消耗的大量计算,并忠实地保留了图像细节。大量的实验结果表明,所提出的方法可以在单个普通GPU上实时转换4K图像,同时其变换性能与现有方法相当。数据集和代码可在以下链接获取:https://github.com/csjliang/LPTN。
代码仓库
csjliang/LPTN
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| photo-retouching-on-mit-adobe-5k | LPTN (L=3) | PSNR: 22.02 SSIM: 0.879 |
| photo-retouching-on-mit-adobe-5k-1080p | LPTN (L=3) | PSNR: 22.09 SSIM: 0.883 |
| photo-retouching-on-mit-adobe-5k-1080p | DPE | PSNR: 21.94 SSIM: 0.885 |
| photo-retouching-on-mit-adobe-5k-480p | DPE | PSNR: 21.99 SSIM: 0.875 |
| photo-retouching-on-mit-adobe-5k-480p | LPTN (L=3) | PSNR: 22.12 SSIM: 0.878 |