摘要

本文介绍了一种基于Transformer的视频目标分割（VOS）方法。为了解决先前工作中的累积误差和可扩展性问题，我们提出了一种称为稀疏时空Transformer（SST）的可扩展端到端VOS方法。SST通过在时空特征上应用稀疏注意力机制，提取视频中每个目标的逐像素表示。我们提出的基于注意力机制的VOS公式允许模型学习关注多个帧的历史记录，并提供了适合执行解决运动分割所需的类似对应计算的归纳偏差。我们在时空域中展示了基于注意力机制的方法相对于递归网络的有效性。我们的方法在YouTube-VOS和DAVIS 2017数据集上取得了具有竞争力的结果，相比现有最佳方法，其可扩展性和对遮挡的鲁棒性得到了改善。代码可在https://github.com/dukebw/SSTVOS 获取。