摘要

参考视频分割依赖于自然语言表达来识别和分割对象，通常强调运动线索。以往的研究将句子作为一个整体处理，并直接在视频层面进行识别，导致静态图像层面的线索与时间运动线索混杂在一起。然而，图像层面的特征无法很好地理解句子中的运动线索，而静态线索对于时间感知并不关键。事实上，静态线索有时会通过掩盖运动线索来干扰时间感知。在这项工作中，我们提出将视频层面的指代表达理解解耦为静态和运动感知，特别强调增强时间理解能力。首先，我们引入了一个表达解耦模块，使静态线索和运动线索发挥各自独特的作用，缓解了句子嵌入忽视运动线索的问题。其次，我们提出了一种分层运动感知模块，以有效捕捉不同时间尺度上的时间信息。此外，我们采用了对比学习方法来区分视觉上相似物体的运动。这些贡献在五个数据集上均取得了最先进的性能，在具有挑战性的 MeViS 数据集上实现了显著的 9.2% $\mathcal{J\&F}$ 改进。代码可在 https://github.com/heshuting555/DsHmp 获取。注释：- $\mathcal{J\&F}$：联合与前景（Joint and Foreground）指标- MeViS：多模态视频分割（Multimodal Video Segmentation）数据集