摘要

场景光流估计在三维环境感知领域正受到越来越多的关注。单目场景光流估计——即从两帧时间上连续的图像中恢复三维结构与三维运动——是一个高度病态的问题，迄今为止尚缺乏有效的实用解决方案。本文提出了一种新颖的单目场景光流方法，在保持实时性能的同时实现了具有竞争力的精度。通过将问题视为逆问题，我们设计了一种单一的卷积神经网络（CNN），能够从经典的光流代价体中同时准确估计深度与三维运动。我们采用基于三维损失函数的自监督学习策略，并引入遮挡推理机制，以有效利用未标注数据。我们对模型设计中的关键选择进行了验证，包括代理损失函数和数据增强方案的设置。所提方法在无监督/自监督学习的单目场景光流任务中达到了当前最优的精度水平，并在光流估计与单目深度估计子任务上也取得了具有竞争力的性能表现。通过半监督微调进一步提升了精度，在实时性方面也展现出良好的应用前景。