摘要

我们提出了一种用于光流估计的新深度网络架构——循环全对场变换（Recurrent All-Pairs Field Transforms，简称 RAFT）。RAFT 通过提取每个像素的特征，构建所有像素对之间的多尺度 4D 相关体积，并利用一个循环单元在相关体积上进行查询，从而迭代更新光流场。该方法在多个基准测试中取得了当前最优的性能表现。在 KITTI 数据集上，RAFT 的 F1-all 误差达到 5.10%，相较于此前最佳公开结果（6.10%）降低了 16%。在 Sintel 数据集（最终版本）上，RAFT 的端点误差（endpoint error）为 2.855 像素，相比最佳公开结果（4.098 像素）减少了 30%。此外，RAFT 在跨数据集泛化能力方面表现优异，同时在推理速度、训练效率和参数量方面也具有显著优势。代码已开源，地址为：https://github.com/princeton-vl/RAFT。