摘要

我们提出了一种用于光流估计的自监督学习方法。该方法从非遮挡像素中提取可靠的光流估计，并利用这些预测作为真实标签来学习对遮挡区域的光流估计。此外，我们设计了一个简单的卷积神经网络（CNN），以利用多帧中的时间信息进行更准确的光流估计。基于这两个原则，我们的方法在包括MPI Sintel、KITTI 2012和2015在内的具有挑战性的基准测试中取得了最佳性能。尤为值得一提的是，我们的自监督预训练模型为有监督微调提供了出色的初始化。经过微调后的模型在这三个数据集上均达到了最先进的结果。截至本文撰写时，我们在Sintel基准测试中实现了EPE=4.26，优于所有已提交的方法。