摘要

近期研究显示，基于亮度恒定假设和平滑性先验，深度网络可从未标注图像对中学习光流。现有方法进一步引入增强正则化项以实现持续的自监督，该方法在处理困难匹配区域时已被证明具有显著效果。然而，在无监督设定下，该策略也会放大不可避免的误匹配，从而阻碍模型向最优解收敛。为破解这一困境，本文提出一种新颖的互蒸馏框架，实现教师网络与学生网络之间可靠知识的双向传递，以实现交替优化。具体而言，我们以现成的无监督方法的估计结果作为伪标签，核心思想在于设计一种置信度选择机制，从中筛选出相对可靠的匹配点，并结合多样化的数据增强策略，从教师网络向学生网络蒸馏出充分且可靠的先验知识。得益于方法的解耦特性，我们可选用更强的学生网络架构以实现更充分的学习。最终，通过采用性能更优的学生网络预测结果，将知识高效回传至高效的教师网络，且在实际部署中不增加额外计算开销。与将其建模为监督学习任务不同，我们发现引入额外的无监督项以支持多目标学习，能够取得最佳的最终性能。大量实验表明，本文提出的MDFlow方法在具有挑战性的基准测试中，实现了当前最优的实时精度与泛化能力。代码已开源，地址为：https://github.com/ltkong218/MDFlow。