3 个月前

用于高效光流估计的循环部分核网络

用于高效光流估计的循环部分核网络

摘要

光流估计是一项具有挑战性的任务,旨在预测图像间每个像素的运动向量。近年来,许多方法通过采用更大、更复杂的模型来提升估计精度,但这在一定程度上限制了光流算法的广泛应用,同时也增加了训练通用模型的难度,因为高质量的光流数据难以获取。本文提出了一种小型且高效的光流估计模型。我们设计了一种新型的空间递归编码器,能够在显著减小模型规模的同时提取具有判别性的特征。与传统的循环单元不同,我们引入了部分核卷积(Partial Kernel Convolution, PKConv)层,仅通过一个共享模块即可生成具有可变多尺度特性的特征。此外,我们还设计了高效的可分离大核(Separable Large Kernels, SLK),在计算开销极低的前提下捕捉大范围上下文信息。在多个公开基准测试中的实验结果表明,我们的方法在保持极低参数量和内存占用的同时,实现了当前最先进的泛化性能。在Spring基准测试中,无需微调即可排名第一,性能提升超过10%,且所需浮点运算次数(FLOPs)比次优方法少一个数量级,内存占用也减少了四倍以上。

基准测试

基准方法指标
optical-flow-estimation-on-kitti-2015RPKNet
Fl-all: 4.64
Fl-fg: 4.69
optical-flow-estimation-on-kitti-2015-trainRPKNet
EPE: 3.79
F1-all: 13.0
optical-flow-estimation-on-sintel-cleanRPKNet
Average End-Point Error: 1.315
optical-flow-estimation-on-sintel-finalRPKNet
Average End-Point Error: 2.657
optical-flow-estimation-on-springRPKNet
1px total: 4.809

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于高效光流估计的循环部分核网络 | 论文 | HyperAI超神经