摘要

时空视频超分辨率（STVSR）旨在提高低分辨率和低帧率视频的空间和时间分辨率。近年来，基于可变形卷积的方法在STVSR方面取得了令人鼓舞的性能，但这些方法只能推断训练阶段预定义的中间帧。此外，这些方法低估了相邻帧之间的短期运动线索。本文中，我们提出了一种时间调制网络（TMNet），以实现任意中间帧的精确高分辨率重建。具体而言，我们设计了一种时间调制块（TMB），用于调节可变形卷积核以实现可控特征插值。为了充分利用时间信息，我们提出了局部时间特征比较（LFC）模块，并结合双向可变形ConvLSTM，从视频中提取短期和长期运动线索。在三个基准数据集上的实验表明，我们的TMNet优于以往的STVSR方法。代码可在https://github.com/CS-GangXu/TMNet 获取。