摘要

抓取和操控物体是人类的一项重要技能。由于手与物体的接触是抓取的基础，因此捕捉这种接触可以带来重要的见解。然而，通过外部传感器观察接触具有挑战性，因为存在遮挡问题以及人类手部的复杂性。我们介绍了ContactDB，这是一个新颖的数据集，包含家庭用品在被抓取时产生的丰富手-物接触图，该数据集的获取得益于热像仪的使用。研究参与者以抓取后的功能性目的来抓取3D打印的物体。ContactDB包括50种家庭用品的3750个3D网格模型，这些模型带有接触图纹理，并且包含37.5万帧同步的RGB-D+热图像。据我们所知，这是首个大规模记录人类抓取详细接触图的数据集。对这些数据的分析显示了功能性目的和物体大小对抓取的影响、倾向于触摸/避开“活动区域”（active areas）以及手掌和近端手指高频率接触的特点。最后，我们训练了最先进的图像转换和3D卷积算法，以从物体形状预测多种接触模式。数据、代码和模型可在https://contactdb.cc.gatech.edu 获取。