摘要

以往大多数针对户外图像的实例分割工作仅依赖颜色信息。本文探索了一种新型的传感器融合方法，利用双目相机获取几何信息。通过视差计算得到的几何信息有助于区分同类或不同类别的重叠物体。此外，几何信息能够对三维形状不合理的区域提议进行惩罚，从而有效抑制误检。掩码回归基于二维（2D）、二维半（2.5D）以及三维（3D）的感兴趣区域（ROI），结合伪激光雷达（pseudo-LiDAR）与图像特征表示进行建模。最终，通过掩码评分机制对多种来源的掩码预测结果进行融合。然而，现有公开数据集普遍采用基线较短、焦距较短的双目系统，限制了双目相机的测距范围。为此，我们构建并使用了高质量驾驶双目数据集（High-Quality Driving Stereo, HQDS），该数据集采用更长的基线与焦距，并具备更高分辨率。实验结果表明，本方法在性能上达到当前最优水平。更多详情请参见我们的项目主页。完整论文可在此处获取。