摘要

视频超分辨率（SR）旨在从低分辨率（LR）图像中生成具有合理且时间上一致细节的高分辨率（HR）帧序列。准确对应关系的生成在视频超分辨率中起着重要作用。传统的视频超分辨率方法已经证明，同时对图像和光流进行超分辨率处理可以提供准确的对应关系并获得更好的超分辨率结果。然而，现有的基于深度学习的方法在对应关系生成中使用的是低分辨率光流。本文提出了一种端到端可训练的视频超分辨率框架，用于同时对图像和光流进行超分辨率处理。具体而言，我们首先提出了一种光流重建网络（OFRnet），以粗到细的方式推断出高分辨率光流。然后，根据高分辨率光流进行运动补偿。最后，将补偿后的低分辨率输入送入超分辨率网络（SRnet），生成最终的超分辨率结果。大量实验表明，高分辨率光流比低分辨率光流提供了更准确的对应关系，并提高了精度和一致性性能。在Vid4和DAVIS-10数据集上的对比结果显示，我们的框架达到了当前最先进的性能。