摘要

我们提出了一种基于求解最优传输问题的新方法，用于处理长视频中的动作分割任务。通过将时间一致性先验编码到一个Gromov-Wasserstein问题中，我们能够从视频帧与动作类别之间的噪声亲和力/匹配成本矩阵中解码出时间上一致的分割结果。与以往的方法不同，我们的方法不需要预先知道视频中的动作顺序即可实现时间一致性。此外，我们所得到的（融合）Gromov-Wasserstein问题可以通过在GPU上进行几次投影镜像下降迭代来高效求解。我们在无监督学习环境中展示了该方法的有效性，其中该方法被用于生成伪标签以进行自训练。我们在Breakfast、50-Salads、YouTube Instructions和Desktop Assembly数据集上评估了我们的分割方法和无监督学习流程，取得了当前最先进的无监督视频动作分割任务结果。