
摘要
云层和雾霾经常遮挡光学卫星图像,阻碍对地球表面进行连续、密集的监测。尽管现代深度学习方法可以隐式地学会忽略这些遮挡,但作为预处理步骤的显式去云操作仍能实现人工解释,并在注释数据有限的情况下支持模型训练。去云任务具有挑战性,因为遮挡场景范围广泛——从部分透过雾霾可见的场景到完全不透明的云层覆盖。此外,下游应用中使用重建图像将大大受益于可靠的图像质量评估。本文介绍了UnCRtainTS,这是一种结合了新颖注意力机制架构和多变量不确定性预测公式的时间序列去云方法。这两种组件相结合,在两个公开的去云数据集上实现了图像重建的新水平性能。此外,我们展示了如何利用校准良好的预测不确定性来精确控制重建质量。
代码仓库
PatrickTUM/UnCRtainTS
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| cloud-removal-on-sen12ms-cr | UnCRtainTS L2 | MAE: 0.027 PSNR: 28.90 SAM: 8.320 SSIM: 0.880 |
| cloud-removal-on-sen12ms-cr-ts | UnCRtainTS L2 | PSNR: 27.23 RMSE: 0.049 SAM: 10.168 SSIM: 0.859 |
| cloud-removal-on-sen12ms-cr-ts | UnCRtainTS σ | PSNR: 27.84 RMSE: 0.051 SAM: 10.160 SSIM: 0.866 |