
摘要
我们系统地比较并分析了无监督光流算法中的一系列关键组件,以确定在光照一致性损失、遮挡处理以及平滑性正则化方面哪种方法最为有效。在这一研究过程中,我们还提出了一系列新颖的模型改进策略,包括代价体归一化、在遮挡掩码处停止梯度传播、在光流场上采样前增强平滑性,以及通过图像缩放实现持续的自监督学习。通过将上述研究结果与所提出的改进组件相结合,我们提出了一种全新的无监督光流方法。该方法在KITTI 2015数据集上的表现显著超越了此前的无监督最优方法,并达到了与监督学习方法FlowNet2相当的性能水平,同时在模型结构上显著简化,相较于同类方法更加简洁高效。
代码仓库
cfreshgirl/uflow
mindspore
junbongjang/contour-tracking
tf
GitHub 中提及
2023-MindSpore-1/ms-code-36
mindspore
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| optical-flow-estimation-on-sintel-clean-2 | UFlow | Average End-Point Error: 5.21 |
| optical-flow-estimation-on-sintel-final-2 | UFlow | Average End-Point Error: 6.50 |