摘要

我们提出了一种新颖的网络，称为协同注意力暹罗网络（CO-attention Siamese Network, COSNet），以从整体视角解决无监督视频对象分割任务。我们强调了视频帧之间固有的相关性的重要性，并引入了全局协同注意力机制，进一步改进了现有的主要关注在短期时间片段中学习区分前景表示的深度学习解决方案。我们的网络中的协同注意力层通过联合计算并将协同注意力响应附加到联合特征空间中，提供了高效且强大的阶段来捕捉全局相关性和场景上下文。我们使用视频帧对训练COSNet，这自然地扩充了训练数据并提高了学习能力。在分割阶段，协同注意力模型通过同时处理多个参考帧来编码有用信息，从而更好地推断出频繁出现和显著的前景对象。我们提出了一种统一且端到端可训练的框架，在该框架中可以派生出不同的协同注意力变体，以挖掘视频中的丰富上下文。我们在三个大型基准数据集上的广泛实验表明，COSNet大幅优于当前的其他方法。