摘要

参考视频分割旨在对语言描述所对应的视频对象进行分割。为解决该任务，我们首先设计了一种双流编码器，用于分层提取基于CNN的视觉特征和基于Transformer的语言特征；同时，在编码器中多次插入视觉-语言相互引导（Vision-Language Mutual Guidance, VLMG）模块，以促进多模态特征的分层且渐进式的融合。相较于现有的多模态融合方法，该双流编码器充分考虑了语言信息的多粒度上下文，并借助VLMG模块实现了模态间的深度交织。为进一步增强帧间的时间对齐性，我们进一步提出一种语言引导的多尺度动态滤波（Language-guided Multi-scale Dynamic Filtering, LMDF）模块，该模块利用语言引导的时空特征生成一组位置相关的动态滤波器，从而更灵活、高效地更新当前帧的特征表示。在四个数据集上的大量实验验证了所提模型的有效性。