摘要

光流估计旨在通过识别两幅图像之间的对应像素来恢复二维运动场。尽管基于深度学习的光流方法取得了显著进展，但在存在运动模糊的情况下准确估计大位移仍是一个难题。这主要是因为光流计算的核心——相关体积（correlation volume）——是通过对两幅图像的卷积特征进行点积运算得到的。卷积特征具有局部性，导致计算出的相关性容易受到各种噪声干扰。在大位移伴随运动模糊的情形下，噪声相关性会引发严重的光流估计误差。为应对这一挑战，本文提出一种新型网络架构——“跨注意力光流变换器”（CRoss-Attentional Flow Transformer, CRAFT），旨在重构相关体积的计算方式。在CRAFT中，引入一个语义平滑变换器（Semantic Smoothing Transformer）层，对其中一帧的特征进行处理，使其具备更强的全局性与语义稳定性。同时，将传统的点积相关性计算替换为基于Transformer的跨帧注意力机制（Cross-Frame Attention）。该机制通过查询（Query）与键（Key）的投影操作有效抑制特征噪声，并计算出更精确的相关性。在Sintel（Final）和KITTI（前景）基准测试中，CRAFT均取得了新的最先进性能。为进一步评估不同模型在大运动场景下的鲁棒性，我们设计了一种图像位移攻击（image shifting attack），通过平移输入图像以生成大尺度人工运动。在该攻击下，CRAFT的表现显著优于两种代表性方法——RAFT与GMA，展现出更强的鲁棒性。CRAFT的代码已开源，地址为：https://github.com/askerlee/craft。