摘要

无监督视频对象分割旨在在没有初始帧真实掩模的情况下对视频中的目标对象进行分割。这一具有挑战性的任务需要从视频序列中提取最显著的共同对象的特征。虽然可以利用运动信息（如光流）来解决这一难题，但仅使用相邻帧之间的信息会导致远距离帧之间的连通性较差，从而影响性能。为了解决这一问题，我们提出了一种新颖的原型记忆网络架构。所提出的模型通过从输入的RGB图像和光流图中提取基于超像素的组件原型，有效提取了RGB和运动信息。此外，该模型基于自学习算法评估每个帧中组件原型的有效性，并自适应地将最有用的原型存储在内存中，同时丢弃过时的原型。我们利用内存库中的原型预测下一查询帧的掩模，这增强了远距离帧之间的关联性，有助于提高掩模预测的准确性。我们的方法在三个数据集上进行了评估，达到了当前最佳性能。通过各种消融研究，我们证明了所提模型的有效性。