摘要

大多数最先进的半监督视频对象分割方法依赖于为视频第一帧提供的目标对象的像素级精确掩膜。然而，获取详细的分割掩膜既昂贵又耗时。在这项工作中，我们探索了一种替代的目标对象识别方法，即通过使用语言指代表达来识别目标对象。除了是一种更为实用和自然的指出目标对象的方式外，使用语言描述还可以帮助避免漂移，并使系统在面对复杂动态和外观变化时更加鲁棒。利用近期图像领域的语言定位模型的进展，我们提出了一种将其扩展到视频数据的方法，以确保时间上的连贯预测。为了评估我们的方法，我们在流行的视频对象分割基准数据集DAVIS'16和DAVIS'17中增加了目标对象的语言描述。实验结果表明，我们的基于语言监督的方法在DAVIS'16上的性能与那些可以访问目标对象像素级掩膜的方法相当，并且在具有挑战性的DAVIS'17数据集上与使用涂鸦的方法具有竞争力。