摘要

尽管在立体深度估计方面取得了进展，但全向成像仍处于探索不足的状态，主要是由于缺乏适当的数据。我们介绍了Helvipad，这是一个用于全向立体深度估计的真实世界数据集，包含来自不同环境的40,000帧视频画面，包括各种光照条件下的拥挤室内和室外场景。该数据集使用顶部和底部设置的两台360°摄像机以及一个LiDAR传感器收集，通过将3D点云投影到等距柱状图（equirectangular）图像上，提供了精确的深度和视差标签。此外，我们还提供了一个增强训练集，通过使用深度补全技术增加了标签密度。我们对领先的立体深度估计模型进行了基准测试，涵盖了标准图像和全向图像。结果显示，虽然最近的立体方法表现良好，但在全向成像中准确估计深度仍然存在挑战。为了解决这一问题，我们引入了必要的适应措施来改进立体模型，从而提高了性能。