摘要

从视觉线索中理解与物体互动的方式，即视觉可操作性（visual affordance），对于视觉引导的机器人研究至关重要。这包括对视觉可操作性的分类、分割和推理。尽管之前已经在2D和2.5D图像领域进行了相关研究，但要真正实现对物体可操作性的功能性理解，仍需在3D物理领域进行学习和预测，而这一领域的研究目前在学术界尚属空白。在本研究中，我们发布了3D AffordanceNet数据集，该数据集包含来自23个语义对象类别的23,000个形状，并标注了18个视觉可操作性类别。基于此数据集，我们提供了三项基准任务来评估视觉可操作性理解能力，分别是全形状、部分视图和旋转不变的可操作性估计。我们对三种最先进的点云深度学习网络在所有任务上进行了评估。此外，我们还探讨了一种半监督学习设置，以研究如何利用未标记的数据。我们在贡献的数据集上获得了全面的结果，这些结果展示了视觉可操作性理解作为一项有价值且具有挑战性的基准测试的潜力。