摘要

本文解决了两个光流估计问题：i) 遮挡估计与处理，ii) 从超过两帧的图像序列中进行光流估计。所提出的ContinualFlow方法在估计光流之前先估计遮挡，从而避免使用被遮挡影响的光流来估计遮挡。我们证明了将遮挡掩模作为额外输入提供给光流估计可以显著提高标准性能指标，在KITTI和Sintel数据集上分别提高了超过25%。作为第二个贡献，本文引入了一种新的方法，用于将过去帧的信息融入光流估计中。前一帧的光流不仅作为遮挡估计的输入，还在没有视觉对应关系的遮挡区域充当先验信息。通过持续利用前一帧的光流，ContinualFlow在KITTI上的性能进一步提升了18%，在Sintel上提升了7%，实现了在这两个数据集上的最佳表现。