摘要

我们提出了一种用于视频超分辨率问题的新架构。通过一个循环编码器-解码器模块，该架构整合了连续视频帧中的空间和时间上下文信息，将多帧信息与目标帧的传统单帧超分辨率路径相融合。与大多数先前工作中的帧堆叠或变形池化方法不同，我们的模型——循环反投影网络（Recurrent Back-Projection Network, RBPN）将每个上下文帧视为独立的信息源。这些信息源在一个受多图像超分辨率中反投影思想启发的迭代精化框架中进行结合。此外，我们通过显式表示相对于目标帧的估计帧间运动来辅助这一过程，而不是显式对齐各帧。我们还提出了一个新的视频超分辨率基准测试，允许在更大规模上进行评估，并考虑不同运动模式下的视频。实验结果表明，我们的RBPN在多个数据集上优于现有方法。