摘要

FlowNet表明，光流估计可以被建模为一个学习问题。然而，当前光流估计的精度水平仍然由传统方法所主导。特别是在小位移以及真实世界数据上，FlowNet难以与变分方法相媲美。本文进一步推进了光流端到端学习的理念，并使其真正实现了卓越性能。质量与速度的显著提升主要归功于三项关键贡献：第一，我们聚焦于训练数据，证明了训练过程中数据呈现的顺序对模型性能具有极为重要的影响；第二，我们提出了一种堆叠式网络架构，其中包含利用中间光流对第二帧图像进行形变（warping）的操作；第三，我们通过引入一个专门处理小运动的子网络，进一步优化了对小位移的建模能力。FlowNet 2.0的运行速度仅比原始FlowNet略慢，但其估计误差降低了超过50%。它在性能上已达到当前最先进方法的水平，同时能够以交互式帧率运行。此外，我们还提出了若干更快的变体，可在保持与原始FlowNet相当精度的前提下，实现高达140帧/秒的光流计算速度。