摘要

深度学习方法在光流估计任务中取得了显著成功，其成功的关键在于引入了代价体（cost volume）以及自粗到细的光流推理机制。然而，当图像中存在部分遮挡或纹理均匀区域时，匹配问题会变得病态，导致代价体中包含异常值，进而影响后续光流的解码精度。此外，自粗到细的光流推理对初始光流的准确性要求较高，若对应关系模糊，则会产生错误的光流场，进而影响后续层级的推理结果。本文提出 LiteFlowNet3，一种由两个专用模块构成的深度神经网络，以应对上述挑战。首先，我们在光流解码前通过自适应调制机制对每个代价向量进行修正，有效缓解了代价体中的异常值问题。其次，为进一步提升光流精度，我们引入局部光流一致性建模机制：通过一种新颖的光流场变形（warping）策略，将每个不准确的光流替换为邻近位置的高精度光流。实验结果表明，LiteFlowNet3不仅在多个公开基准测试中取得了优异性能，同时具备模型体积小、运行速度快的优势，适用于实时应用场景。