摘要

当前最先进的光流估计神经网络模型依赖于高分辨率下的密集相关体积（dense correlation volume）来表征每个像素的位移。尽管密集相关体积有助于实现高精度的光流估计，但其带来的巨大计算开销和内存占用严重制约了模型的高效训练与部署。本文表明，密集相关体积的表示存在冗余，仅需其中少量元素即可实现高精度的光流估计。基于这一观察，我们提出一种替代性的位移表示方法——稀疏相关体积（Sparse Correlation Volume），该方法通过直接计算一个特征图中每个特征向量在另一个特征图中最近的k个匹配项，并将结果存储于稀疏数据结构中，从而实现高效表示。实验结果表明，与采用密集相关体积的现有方法相比，所提方法在显著降低计算成本和内存消耗的同时，仍能保持优异的估计精度。代码已开源，地址为：https://github.com/zacjiang/scv。