4 个月前

迭代残差修正用于联合光流和遮挡估计

迭代残差修正用于联合光流和遮挡估计

摘要

近年来,深度学习在光流估计领域的进展迅速。许多网络的一个共同特点是通过多个阶段或在粗到细的表示层次上对初始光流估计进行细化。虽然这种方法可以提高结果的准确性,但其缺点是参数数量增加。借鉴经典能量最小化方法和残差网络的思想,我们提出了一种基于权重共享的迭代残差细化(IRR)方案,该方案可以与多种主干网络结合使用。它不仅减少了参数数量,提高了准确性,甚至在某些情况下同时实现了这两点。此外,我们将遮挡预测和双向光流估计集成到我们的IRR方案中,进一步提升了准确性。我们的完整网络在多个标准数据集上均达到了光流估计和遮挡估计的最先进水平。

代码仓库

visinf/irr
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
optical-flow-estimation-on-kitti-2012IRR-PWC
Average End-Point Error: 1.6
optical-flow-estimation-on-kitti-2015IRR-PWC
Fl-all: 7.65
optical-flow-estimation-on-sintel-cleanIRR-PWC
Average End-Point Error: 3.84
optical-flow-estimation-on-sintel-finalIRR-PWC
Average End-Point Error: 4.579

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
迭代残差修正用于联合光流和遮挡估计 | 论文 | HyperAI超神经