摘要

我们提出了一种基于Transformer的神经网络架构——光流变换器（FlowFormer），用于学习光流。FlowFormer将由图像对构建的4D代价体（cost volume）进行分词处理，利用一种新颖的隐空间中的交替分组Transformer（Alternate-Group Transformer, AGT）层，将代价令牌编码为代价记忆（cost memory），并采用带有动态位置代价查询的循环Transformer解码器对代价记忆进行解码。在Sintel基准测试中，FlowFormer在clean pass和final pass上的平均端点误差（AEPE）分别达到1.159和2.088，相较于此前最优公开结果（1.388和2.47），分别降低了16.5%和15.5%。此外，FlowFormer还展现出优异的泛化能力：在未在Sintel数据集上进行训练的情况下，其在Sintel训练集clean pass上的AEPE达到1.01，优于此前最优结果（1.29），性能提升达21.7%。