摘要

尽管取得了显著进展，基于逐片段（per-clip）输入的视频实例分割（Video Instance Segmentation, VIS）方法在处理存在物体遮挡和场景拥挤的复杂视频时仍表现不佳。其主要原因在于，现有方法中的实例查询（instance queries）难以有效编码实例的判别性特征嵌入，导致基于查询的分割器难以区分这些“困难”实例。为解决上述问题，本文提出一种判别性查询嵌入挖掘方法（Mining Discriminative Query Embeddings, MDQE），以实现对复杂视频中被遮挡实例的精准分割。具体而言，我们首先通过融合空间上下文信息以及帧间物体运动关系，初始化对象查询的位置嵌入与内容特征；其次，提出一种实例间掩码排斥损失（inter-instance mask repulsion loss），用于拉远目标实例与其邻近非目标实例之间的距离，增强实例间的区分能力。所提出的MDQE是首个在逐片段输入设置下，于复杂视频数据集上达到当前最优性能的VIS方法，同时在简单视频上也展现出具有竞争力的性能表现。实验结果表明，采用ResNet-50主干网络的MDQE在OVIS和YouTube-VIS 2021数据集上的掩码平均精度（mask AP）分别达到33.0%和44.5%。MDQE的代码已开源，可访问：\url{https://github.com/MinghanLi/MDQE_CVPR2023}。