3 个月前

UPFlow:用于无监督光流学习的上采样金字塔

UPFlow:用于无监督光流学习的上采样金字塔

摘要

我们提出了一种无监督学习方法,用于光流估计,通过改进金字塔网络中的上采样机制与特征学习能力来实现。为此,我们设计了一种自引导上采样模块,以解决因在金字塔层级间采用双线性上采样而导致的插值模糊问题。此外,我们提出了一种金字塔蒸馏损失(pyramid distillation loss),通过将最精细层级的光流作为伪标签,对中间层级施加监督信号。将上述两个组件有机结合后,我们的方法在多个主流基准测试中均取得了当前最优的无监督光流学习性能,涵盖MPI-Sintel、KITTI 2012与KITTI 2015。特别地,在KITTI 2012上实现了1.4的平均端点误差(EPE),在KITTI 2015上达到9.38%的F1分数,分别比此前的最先进方法提升了22.2%和15.7%。

代码仓库

twhui/LiteFlowNet3
GitHub 中提及
coolbeam/UPFlow_pytorch
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
optical-flow-estimation-on-kitti-2012-2UpFlow
Average End-Point Error: 1.4
optical-flow-estimation-on-kitti-2015-2UpFlow
Fl-all: 9.38
optical-flow-estimation-on-sintel-clean-2UpFlow
Average End-Point Error: 4.68
optical-flow-estimation-on-sintel-final-2UpFlow
Average End-Point Error: 5.32

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
UPFlow:用于无监督光流学习的上采样金字塔 | 论文 | HyperAI超神经