摘要

我们研究了用于光流估计的卷积神经网络（CNNs）中的两个关键且紧密相关的方面：模型和训练。首先，根据简单而成熟的原则——金字塔处理、光流变形（warping）和代价体处理，我们设计了一种紧凑但有效的CNN模型，称为PWC-Net。与最近的FlowNet2模型相比，PWC-Net的体积缩小了17倍，推理速度提高了2倍，在Sintel最终测试集上的准确率提升了11%。该模型在鲁棒视觉挑战赛的光流竞赛中获得了优胜。接下来，我们通过实验分析了性能提升的来源。特别是，我们使用与PWC-Net相同的训练流程重新训练了FlowNet2的一个子网络——FlowNetC。重新训练后的FlowNetC在Sintel最终测试集上的准确率比之前训练的版本提高了56%，甚至比FlowNet2模型本身高出5%。我们进一步改进了训练流程，使PWC-Net在Sintel上的准确率提高了10%，在KITTI 2012和2015数据集上的准确率提高了20%。我们的新训练模型参数和训练协议将在https://github.com/NVlabs/PWC-Net上提供。