
摘要
近年来,单图像超分辨率(SISR)引起了广泛的关注,但所提出的方法主要局限于学习图像先验以添加高频细节。相比之下,多帧超分辨率(MFSR)通过结合多个位移图像的信号信息,提供了重建丰富细节的可能性。这一关键优势,加上连拍摄影的日益流行,使得MFSR成为现实应用中的一个重要问题。我们为连拍超分辨率任务提出了一种新颖的架构。该网络以多个有噪声的RAW图像作为输入,并生成去噪且超分辨率的RGB图像作为输出。这是通过显式对齐输入帧的深层嵌入来实现的,使用像素级光流进行对齐。然后,所有帧的信息通过基于注意力的融合模块自适应地合并。为了能够在真实数据上进行训练和评估,我们还引入了BurstSR数据集,该数据集包含智能手机连拍图像和高分辨率DSLR参考图像。我们进行了全面的实验分析,证明了所提出的架构的有效性。
代码仓库
goutamgmb/deep-rep
pytorch
GitHub 中提及
goutamgmb/NTIRE21_BURSTSR
pytorch
GitHub 中提及
goutamgmb/deep-burst-sr
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| burst-image-super-resolution-on | DBSR | LPIPS: 0.081 PSNR: 39.17 SSIM: 0.946 |
| burst-image-super-resolution-on-burstsr | DBSR | LPIPS: 0.029 PSNR: 47.70 SSIM: 0.984 |