摘要

我们提出了一种新的视频伪装物体检测（VCOD）框架，该框架能够利用短期动态和长期时间一致性来从视频帧中检测伪装物体。伪装物体的一个基本特性是它们通常表现出与背景相似的模式，因此在静态图像中很难识别。因此，有效处理视频中的时间动态成为VCOD任务的关键，因为当伪装物体移动时会变得明显。然而，现有的VCOD方法通常利用单应性或光流来表示运动，这可能导致由于运动估计误差和分割误差而累积的检测误差。相比之下，我们的方法在一个统一的优化框架内结合了运动估计和物体分割。具体而言，我们构建了一个密集的相关体积图，以隐式捕获相邻帧之间的运动，并利用最终的分割监督来联合优化隐式运动估计和分割。此外，为了在视频序列中强制执行时间一致性，我们共同利用了一个时空变换器来改进短期预测。我们在多个VCOD基准数据集上进行了广泛的实验，证明了我们方法的架构有效性。我们还提供了一个名为MoCA-Mask的大规模VCOD数据集，其中包含像素级别的手工制作真值掩模，并构建了一个综合的VCOD基准测试平台，纳入了先前的方法以促进该领域的研究。数据集链接：https://xueliancheng.github.io/SLT-Net-project.