摘要

现有的显著运动分割方法难以显式地学习几何线索，往往在显著的静态物体上产生误检。为此，我们利用多视角几何约束来克服上述缺陷。针对非刚性背景（如海面）的处理问题，我们进一步提出了一种鲁棒的运动特征与外观特征融合机制。我们发现，密集轨迹能够覆盖视频中的每一个像素，并据此提出基于轨迹的对极距离（trajectory-based epipolar distances），以有效区分前景与背景区域。该对极距离不依赖于具体数据，仅需少量图像间特征点的对应关系即可高效计算。实验表明，将对极距离与光流信息相结合，可训练出性能强大的运动特征网络。为使网络能够同时利用这两种特征，我们提出一种简单而有效的机制——输入丢弃（input-dropout）。相较于仅依赖运动信息的网络，我们在DAVIS-2016数据集上的平均交并比（mean IoU）指标超越此前最优方法达5.2%。通过采用输入丢弃机制，将我们的运动网络与外观网络进行鲁棒融合，我们在DAVIS-2016、DAVIS-2017以及SegTrackv2三个数据集上均取得了优于现有方法的性能表现。