摘要

可微分图像采样中的反向变形（backward warping）已在深度估计、光流预测等任务中得到广泛应用。相比之下，前向变形（forward warping）的研究则相对较少，部分原因在于其面临额外挑战，例如如何以可微分的方式解决多个源像素映射到同一目标位置时的冲突问题。为此，我们提出了一种基于软最大值投射（softmax splatting）的方法，以应对这一范式转变，并在帧插值任务中验证了其有效性。具体而言，给定两帧输入图像，我们基于光流估计，利用 softmax splatting 对图像及其特征金字塔表示进行前向变形。在此过程中，softmax splatting 能够无缝处理多个源像素映射至同一目标位置的情况。随后，我们采用一个合成网络，从变形后的表示中预测插值结果。得益于 softmax splatting，我们的方法不仅能够实现任意时间点的帧插值，还可对特征金字塔和光流进行端到端微调。实验表明，该合成方法在视频帧插值任务中达到了新的最先进性能，显著提升了现有技术水平。