摘要

深度估计功能对于三维识别具有重要意义。消费级深度相机能够在实时环境中捕捉深度和彩色图像。然而，传感器无法正确扫描光滑、透明或远距离的表面。因此，从感知深度中进行增强和恢复是一项重要的任务。深度补全旨在填补传感器未能检测到的空洞，这仍然是机器学习的一项复杂任务。传统的手工调参方法已经达到了极限，而基于神经网络的方法则倾向于复制并插值周围深度值的输出，导致边界模糊，深度图的结构丢失。因此，我们的主要工作是设计一个端到端的网络，以提高完成后的深度图质量，同时保持边缘清晰度。我们利用了之前在图像修复领域中使用的自注意力机制，在每一层卷积中提取更多有用的信息，从而增强完整的深度图。此外，我们提出了边界一致性概念，以进一步提升深度图的质量和结构。实验结果验证了我们提出的自注意力机制和边界一致性方案的有效性，在Matterport3D数据集上的表现优于以往最先进的深度补全方法。我们的代码已公开发布在 https://github.com/tsunghan-wu/Depth-Completion。