
摘要
立体图像对可以用于提高超分辨率(SR)的性能,因为从第二个视角提供了额外的信息。然而,由于立体图像之间的视差差异显著,将这些信息整合到超分辨率中是一个挑战。在本文中,我们提出了一种视差注意立体超分辨率网络(PASSRnet),以整合来自立体图像对的信息进行超分辨率处理。具体而言,我们引入了一种沿极线具有全局感受野的视差注意机制,以处理具有较大视差变化的不同立体图像。此外,我们还提出了一个新的且最大的立体图像超分辨率数据集(Flickr1024)。大量实验表明,该视差注意机制能够在较小的计算和内存开销下捕捉立体图像之间的对应关系,从而提升超分辨率性能。比较结果表明,我们的PASSRnet在Middlebury、KITTI 2012和KITTI 2015数据集上达到了最先进的性能。
代码仓库
LongguangWang/PASSRnet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-kitti-2012-2x | PASSRnet | PSNR: 30.65 |
| image-super-resolution-on-kitti-2012-4x | PASSRnet | PSNR: 26.26 |
| image-super-resolution-on-kitti-2015-2x | PASSRnet | PSNR: 29.78 |
| image-super-resolution-on-kitti-2015-4x | PASSRnet | PSNR: 25.43 |
| image-super-resolution-on-middlebury-2x | PASSRnet | PSNR: 34.05 |
| image-super-resolution-on-middlebury-4x | PASSRnet | PSNR: 28.63 |
| stereo-image-super-resolution-on-flickr1024-1 | PASSRnet | PSNR: 28.38 |
| stereo-image-super-resolution-on-flickr1024-2 | PASSRnet | PSNR: 23.31 |
| stereo-image-super-resolution-on-kitti2012-2x-1 | PASSRnet | PSNR: 30.81 |
| stereo-image-super-resolution-on-kitti2012-4x | PASSRnet | PSNR: 26.34 |
| stereo-image-super-resolution-on-kitti2015-2x | PASSRnet | PSNR: 30.60 |
| stereo-image-super-resolution-on-kitti2015-4x | PASSRnet | PSNR: 26.08 |
| stereo-image-super-resolution-on-middlebury | PASSRnet | PSNR: 28.72 |
| stereo-image-super-resolution-on-middlebury-1 | PASSRnet | PSNR: 34.23 |