摘要

在过去的四十年中，大多数研究通过变分方法解决了光流估计问题。随着机器学习的发展，一些近期的研究尝试使用卷积神经网络（CNN）来解决这一问题，并展示了有希望的结果。目前最先进的CNN模型FlowNet2需要超过1.6亿个参数才能实现精确的光流估计。我们的LiteFlowNet2在Sintel和KITTI基准测试中超越了FlowNet2，同时模型大小减少了25.3倍，运行速度提高了3.1倍。LiteFlowNet2基于传统方法奠定的基础构建，并类似于变分方法中的数据保真度和正则化角色。我们采用SPyNet的空间金字塔公式计算光流，但通过一种新颖的轻量级级联流推断方法实现。该方法通过早期校正和无缝集成描述符匹配提供了高精度的光流估计。特征驱动的局部卷积用于光流正则化，以改善离群点和模糊光流边界的问题。我们的网络还具有有效的金字塔特征提取结构，并采用了特征扭曲而非图像扭曲的方法，这与FlowNet2和SPyNet的做法不同。与LiteFlowNet相比，LiteFlowNet2在Sintel Clean上的光流准确性提高了23.3%，在Sintel Final上提高了12.8%，在KITTI 2012上提高了19.6%，在KITTI 2015上提高了18.8%，同时运行速度提高了2.2倍。我们的网络协议和训练模型已在https://github.com/twhui/LiteFlowNet2公开提供。