摘要

本文探讨了时空视频超分辨率任务，该任务旨在从低帧率（LFR）、低分辨率（LR）视频生成高分辨率（HR）慢动作视频。一种简单的解决方案是将其分解为两个子任务：视频帧插值（VFI）和视频超分辨率（VSR）。然而，在此任务中，时间插值和空间超分辨率是相互关联的。两阶段方法无法充分利用这一自然属性。此外，最先进的VFI或VSR网络需要一个大型的帧合成或重建模块来预测高质量的视频帧，这使得两阶段方法具有较大的模型规模，从而导致耗时较长。为了克服这些问题，我们提出了一种单阶段时空视频超分辨率框架，该框架直接从LFR、LR视频合成HR慢动作视频。与VFI网络通过合成缺失的LR视频帧不同，我们首先使用所提出的特征时间插值网络在缺失的LR视频帧中进行时间插值，以捕捉局部时间上下文。然后，我们提出了一种可变形ConvLSTM来同时对齐和聚合时间信息，以便更好地利用全局时间上下文。最后，采用深度重建网络来预测HR慢动作视频帧。在基准数据集上的大量实验表明，所提出的方法不仅在定量和定性性能上优于现有方法，而且比最近的两阶段最先进方法（如DAIN+EDVR和DAIN+RBPN）快三倍以上。