摘要

透明物体在我们的日常生活中十分常见，并且在自动化生产线中经常被处理。对于这些物体，基于视觉的鲁棒机器人抓取和操作将有利于实现自动化。然而，大多数现有的抓取算法在这种情况下会失败，因为它们严重依赖深度图像，而普通的深度传感器由于光的反射和折射通常无法为透明物体生成准确的深度信息。在这项工作中，我们通过提供一个大规模的真实世界数据集来解决这一问题，该数据集包含来自130个不同场景的57,715张RGB-D图像。我们的数据集是第一个大规模、真实世界的透明物体深度补全数据集，提供了多样化和杂乱场景中的地面真值深度、表面法线和透明掩模。跨域实验表明，我们的数据集更具普遍性，能够使模型具备更好的泛化能力。此外，我们提出了一种端到端的深度补全网络，该网络以RGB图像和不准确的深度图作为输入，并输出经过优化的深度图。实验结果证明了我们的方法在效能、效率和鲁棒性方面优于以往的工作，并且能够在有限的硬件资源下处理高分辨率图像。实际机器人实验显示，我们的方法还可以稳健地应用于新型透明物体的抓取。完整的数据集和我们的方法已在www.graspnet.net/transcg上公开发布。