摘要

本文研究了嵌入学习的原理，以应对具有挑战性的半监督视频目标分割问题。不同于以往仅利用前景目标像素进行嵌入学习的做法，我们认为背景也应得到同等对待，因此提出了基于前景-背景融合的协作视频目标分割（CFBI）方法。我们的CFBI方法隐式地施加了目标前景及其对应背景特征嵌入之间的对比性，从而促进了分割结果的提升。通过同时从前景和背景中提取特征嵌入，CFBI在参考序列和预测序列之间执行像素级和实例级的匹配过程，使其对不同目标尺度具有鲁棒性。我们在三个流行的基准数据集上进行了广泛的实验，即DAVIS 2016、DAVIS 2017和YouTube-VOS。实验结果显示，我们的CFBI方法分别在这三个数据集上取得了89.4%、81.9%和81.4%的性能（J$F），优于所有其他最先进的方法。代码：https://github.com/z-x-yang/CFBI。