摘要

单视图深度估计模型可以通过自监督端到端的方法从视频片段中进行训练，其中视图合成作为监督信号。该框架通过预测深度和相机运动，并基于从时间相邻帧重建目标视频帧的损失来进行实现。在此背景下，遮挡指的是在目标帧中可见但在用于图像重建的帧中不可见的场景部分。由于图像重建是基于从相邻帧采样的，而遮挡区域按定义无法被采样，因此重建的遮挡区域会破坏监督信号。在先前的研究（arXiv:1806.01260）中，遮挡是根据重建误差来处理的；在每个像素位置，只有误差最低的重建结果才会被纳入损失计算。本研究旨在确定是否可以在训练过程中仅忽略受遮挡影响的区域以提高深度估计模型的性能。在这项工作中，我们引入了遮挡掩模（occlusion mask），这是一种在训练过程中可以专门忽略因遮挡而无法重建区域的掩模。遮挡掩模完全基于预测的深度信息。我们提出了两种新的损失函数公式，这些公式结合了遮挡掩模。arXiv:1806.01260 中的方法和实现不仅为我们提供了修改的基础，还作为实验中的基线。我们展示了以下两点：(i) 在损失函数中引入遮挡掩模可以提高单图像深度预测模型在 KITTI 基准测试中的性能。(ii) 基于误差选择重建结果的损失函数能够忽略由物体运动引起的某些重投影误差。