
摘要
近期基于隐式神经函数的研究为实现任意分辨率的图像表示提供了新思路。然而,单一的多层感知机(MLP)在学习高频成分方面表现有限。为此,本文提出一种局部纹理估计器(Local Texture Estimator, LTE),该方法作为自然图像的主导频率估计器,使隐式神经函数能够在连续重建图像的同时捕捉精细纹理细节。当与深度超分辨率(SR)网络联合训练时,LTE能够有效表征图像纹理在二维傅里叶空间中的特性。实验结果表明,基于LTE的神经函数在任意放大倍数下均能实现优于现有深度超分辨率方法的性能。此外,我们的实现相较以往工作具有最短的运行时间,展现出优异的计算效率。
代码仓库
jaewon-lee-b/lte
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-bsd100-2x-upscaling | LTE | PSNR: 32.44 |
| image-super-resolution-on-bsd100-3x-upscaling | LTE | PSNR: 29.39 |
| image-super-resolution-on-bsd100-4x-upscaling | LTE | PSNR: 27.86 |
| image-super-resolution-on-set14-2x-upscaling | LTE | PSNR: 34.25 |
| image-super-resolution-on-set14-3x-upscaling | LTE | PSNR: 30.8 |
| image-super-resolution-on-set14-4x-upscaling | LTE | PSNR: 29.06 |
| image-super-resolution-on-set5-2x-upscaling | LTE | PSNR: 38.33 |
| image-super-resolution-on-set5-3x-upscaling | LTE | PSNR: 34.89 |
| image-super-resolution-on-urban100-2x | LTE | PSNR: 33.5 |
| image-super-resolution-on-urban100-3x | LTE | PSNR: 29.41 |
| image-super-resolution-on-urban100-4x | LTE | PSNR: 27.24 |