摘要

时间相干性在光流估计的背景下是一种宝贵的信息来源。然而，找到一个合适的运动模型来利用这些信息并非易事。本文提出了一种基于卷积神经网络（CNN）的无监督在线学习方法，该方法为每一帧单独估计这样的运动模型。通过关联前向和后向运动，这些学习到的模型不仅允许根据后向流推断出有价值的运动信息，还帮助在遮挡区域提高性能，在这些区域中可靠的预测尤为重要。此外，我们的学习模型具有空间变异性，因此可以构建非刚性运动估计。这反过来又使得我们能够克服近期基于刚性的方法的主要局限性，这些方法试图通过引入额外的立体视觉/结构从运动（SfM）约束来改进估计。实验结果证明了我们新方法的有效性。与没有预测的基线相比，该方法在所有主要基准测试（KITTI 2012、KITTI 2015、MPI Sintel）上表现出高达27%的一致性提升，并且在包含最多非刚性运动的MPI Sintel基准测试中取得了最佳结果。