
摘要
通常,卷积神经网络(CNNs)处理的是规则网格上的数据,例如普通相机生成的数据。设计适用于稀疏且不规则分布输入数据的CNN仍然是一个开放的研究问题,其在自动驾驶、机器人技术和监控等领域具有广泛的应用前景。本文提出了一种代数约束归一化卷积层,该层适用于高稀疏度的输入数据,并且相比相关工作具有较少的网络参数。我们提出了新的策略来从卷积操作中确定置信度,并将其传递到后续层。同时,我们还提出了一种目标函数,该函数能够在最小化数据误差的同时最大化输出置信度。为了整合结构信息,我们研究了融合策略,以在归一化卷积网络框架中结合深度和RGB信息。此外,我们引入了输出置信度作为辅助信息来提高结果的质量。我们的归一化卷积网络框架在场景深度补全问题上的能力得到了验证。我们在KITTI-Depth和NYU-Depth-v2数据集上进行了全面的实验。实验结果清楚地表明,所提出的方法在仅需约1-5%的参数数量的情况下,实现了优于现有最先进方法的性能。
代码仓库
abdo-eldesokey/nconv
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| depth-completion-on-kitti-depth-completion | NConv-CNN-L2 | MAE: 233 RMSE: 830 Runtime [ms]: 20 |
| depth-completion-on-kitti-depth-completion | NConv-CNN | MAE: 360 RMSE: 1268 Runtime [ms]: 10 |
| depth-completion-on-kitti-depth-completion | NConv-CNN-L1 | MAE: 208 RMSE: 859 Runtime [ms]: 20 |