
摘要
卷积神经网络(CNNs)在图像超分辨率(SR)领域中一直展现出最先进的成果,为遥感领域从捕获的数据中提取更多信息和知识提供了卓越的机会。然而,迄今为止,大多数文献中的研究工作主要集中在单图像超分辨率问题上。目前,基于卫星的遥感平台提供了大量具有高时间分辨率和低空间分辨率的数据。在此背景下,本研究提出了一种新颖的残差注意力模型(RAMS),该模型能够高效地解决多图像超分辨率任务,同时利用空间和时间相关性来融合多幅图像。我们引入了视觉特征注意力机制与三维卷积,以实现对多幅低分辨率图像的有意识数据融合和信息提取,超越了卷积操作局部区域的限制。此外,由于输入包含同一场景的多幅图像,我们的表征学习网络广泛采用了嵌套残差连接,以便让冗余的低频信号流通,并将计算资源集中于更重要的高频成分。通过广泛的实验和与其他现有解决方案(无论是单图像还是多图像超分辨率)的对比评估表明,所提出的基于深度学习的解决方案可以被视为遥感应用中多图像超分辨率领域的最先进方法。
代码仓库
EscVM/RAMS
官方
tf
isaaccorley/torchrs
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-epfl-nir-vis | RAMS (ours) | SSIM: 0.9875 |
| multi-frame-super-resolution-on-proba-v | RAMS | Normalized cPSNR: 0.9336790819983855 |
| video-super-resolution-on-ultra-video-group | RAMS (ours) | Average PSNR: 48.23 |
| video-super-resolution-on-ultra-video-group | DeepSUM[41] | Average PSNR: 47.84 |