摘要

我们提出了一种紧凑而高效的卷积神经网络（CNN）模型用于光流估计，名为PWC-Net。PWC-Net的设计遵循简单且经过验证的三大原则：分层处理（pyramidal processing）、图像扭曲（warping）以及代价体（cost volume）的使用。在可学习的特征金字塔框架下，PWC-Net利用当前的光流估计结果，对第二幅图像的CNN特征进行扭曲。随后，将扭曲后的特征与第一幅图像的特征相结合，构建代价体，并通过一个CNN对代价体进行处理，从而估计出光流。相较于近期的FlowNet2模型，PWC-Net的模型尺寸小了17倍，且更易于训练。此外，PWC-Net在MPI Sintel最终测试集和KITTI 2015基准测试中均优于所有已发表的光流算法，在Sintel分辨率（1024×436）图像上运行速度可达约35帧每秒。相关模型代码已开源，可访问 https://github.com/NVlabs/PWC-Net 获取。