摘要

帧间对应关系编码了视频中动态内容的丰富信息。然而，由于这些对应关系的不规则结构和复杂的动态特性，有效地捕捉和学习它们具有很大挑战性。本文提出了一种新颖的神经网络，通过聚合潜在对应关系中的信息来学习视频表示。该网络命名为$CPNet$，能够学习具有时间一致性的演化二维场。特别地，它可以通过混合外观和长距离运动仅使用RGB输入来有效学习视频表示。我们进行了广泛的消融实验以验证我们的模型。$CPNet$在Kinetics数据集上的表现优于现有方法，并在Something-Something和Jester数据集上达到了最先进的性能。我们对模型的行为进行了分析，并展示了其对提案错误的鲁棒性。