摘要

生成式深度学习引发了一波新的超分辨率（SR）算法，这些算法能够显著提升单张图像的美学效果，尽管其中包含了一些虚构的细节。多帧超分辨率（MFSR）通过利用多个低分辨率视图来解决这一病态问题，提供了一种更为可靠的方法。这对于卫星监测人类对地球的影响至关重要，无论是森林砍伐还是人权侵犯等问题，都依赖于可靠的影像资料。为此，我们提出了HighRes-net，这是首个端到端学习MFSR子任务的深度学习方法，包括：(i) 共配准、(ii) 融合、(iii) 上采样和 (iv) 损失层注册。低分辨率视图的共配准是通过参考帧通道隐式学习实现的，无需显式的配准机制。我们递归地在任意数量的低分辨率对上应用一个全局融合算子。我们引入了注册损失的概念，通过ShiftNet学习将SR输出与真实值对齐。研究表明，通过学习多个视图的深层表示，我们可以放大低分辨率信号并大规模增强地球观测数据。我们的方法最近在欧洲航天局的真实世界卫星影像MFSR竞赛中获得了第一名。