摘要

FlowNet2 是一种最先进的卷积神经网络（CNN），用于光流估计，需要超过1.6亿个参数才能实现精确的光流估计。在本文中，我们提出了一种替代网络，在具有挑战性的Sintel最终通过和KITTI基准测试中超越了FlowNet2，同时模型大小减少了30倍，运行速度提高了1.36倍。这一成就得益于深入研究当前框架可能忽略的架构细节：(1) 我们在每个金字塔层级提出了一种更有效的轻量级级联网络进行光流推断。它不仅通过早期校正提高了光流估计的准确性，还允许无缝集成描述符匹配到我们的网络中。(2) 我们提出了一种新颖的光流正则化层，通过特征驱动的局部卷积来缓解离群点和模糊光流边界的问题。(3) 我们的网络具有一种有效的金字塔特征提取结构，并采用了特征扭曲而非FlowNet2中的图像扭曲方法。我们的代码和训练模型可在 https://github.com/twhui/LiteFlowNet 获取。