摘要

透明物体在日常生活中十分常见，但它们具有独特的视觉特性，使得标准3D传感器难以对其生成准确的深度估计。在许多情况下，这些物体通常表现为其背后表面的噪声或失真近似。为了解决这些挑战，我们提出了一种名为ClearGrasp的深度学习方法，该方法可以从单个RGB-D图像中估计透明物体的准确3D几何形状，以实现机器人操作。给定一个包含透明物体的单个RGB-D图像，ClearGrasp利用深度卷积网络推断表面法线、透明表面掩码以及遮挡边界。然后，它使用这些输出来优化场景中所有透明表面的初始深度估计。为了训练和测试ClearGrasp，我们构建了一个大规模的合成数据集，包含超过50,000张RGB-D图像，以及一个真实世界的测试基准数据集，包含286张透明物体及其真实几何形状的RGB-D图像。实验结果表明，ClearGrasp显著优于单目深度估计基线，并且能够泛化到真实世界图像和新物体上。此外，我们还展示了ClearGrasp可以直接应用于改进抓取算法在透明物体上的性能。代码、数据和基准测试将对外发布。补充材料可在项目网站上获取：https://sites.google.com/view/cleargrasp