摘要

这项研究针对突发超分辨率（Burst Super-Resolution, BurstSR）任务提出了一种新的架构，该任务需要从一系列噪声、错位和低分辨率的RAW图像序列中恢复高质量图像。为了克服BurstSR中的挑战，我们提出了一种突发超分辨率变换器（Burst Super-Resolution Transformer, BSRT），该变换器可以显著提高提取帧间信息和重建的能力。为实现这一目标，我们设计了金字塔流导向可变形卷积网络（Pyramid Flow-Guided Deformable Convolution Network, Pyramid FG-DCN），并将其与Swin变换器块和组作为主干网络结合使用。具体而言，我们将光流和可变形卷积相结合，因此我们的BSRT能够更高效地处理错位问题并聚合多帧中的潜在纹理信息。此外，基于变换器的结构能够捕捉长距离依赖关系，从而进一步提升性能。在合成数据集和真实世界数据集上的评估表明，我们的方法在BurstSR任务中达到了新的最先进水平。此外，我们的BSRT在NTIRE2022突发超分辨率挑战赛中荣获冠军。