
摘要
近年来,深度学习在光流估计领域的进展迅速。许多网络的一个共同特点是通过多个阶段或在粗到细的表示层次上对初始光流估计进行细化。虽然这种方法可以提高结果的准确性,但其缺点是参数数量增加。借鉴经典能量最小化方法和残差网络的思想,我们提出了一种基于权重共享的迭代残差细化(IRR)方案,该方案可以与多种主干网络结合使用。它不仅减少了参数数量,提高了准确性,甚至在某些情况下同时实现了这两点。此外,我们将遮挡预测和双向光流估计集成到我们的IRR方案中,进一步提升了准确性。我们的完整网络在多个标准数据集上均达到了光流估计和遮挡估计的最先进水平。
代码仓库
visinf/irr
官方
pytorch
GitHub 中提及
open-mmlab/mmflow
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| optical-flow-estimation-on-kitti-2012 | IRR-PWC | Average End-Point Error: 1.6 |
| optical-flow-estimation-on-kitti-2015 | IRR-PWC | Fl-all: 7.65 |
| optical-flow-estimation-on-sintel-clean | IRR-PWC | Average End-Point Error: 3.84 |
| optical-flow-estimation-on-sintel-final | IRR-PWC | Average End-Point Error: 4.579 |