摘要

指代视频目标分割任务（Referring Video Object Segmentation, RVOS）旨在对给定视频帧中由文本描述所指代的目标实例进行分割。由于该任务具有多模态特性，融合了文本推理、视频理解、实例分割与目标跟踪等多个复杂环节，现有方法通常依赖于结构复杂的处理流程来应对。本文提出一种基于Transformer的简洁方法——多模态追踪Transformer（Multimodal Tracking Transformer, MTTR），用于解决RVOS问题。MTTR将该任务建模为序列预测问题，基于计算机视觉与自然语言处理领域的最新进展，其核心思想在于：通过单一的多模态Transformer模型，能够高效且优雅地联合处理视频与文本信息。MTTR具备端到端可训练性，不包含与文本相关的归纳偏置组件，且无需额外的掩码精炼后处理步骤，从而显著简化了现有的RVOS处理流程。在标准基准数据集上的评估结果表明，MTTR在多项指标上显著优于现有最先进方法。具体而言，在A2D-Sentences和JHMDB-Sentences数据集上，MTTR分别取得了+5.7和+5.0的mAP提升，同时实现每秒处理76帧的高效推理速度。此外，我们在更具挑战性的公开验证集Refer-YouTube-VOS上也取得了优异表现，该数据集目前尚未受到研究界的广泛关注。本文实验的复现代码已开源，地址为：https://github.com/mttr2021/MTTR。