摘要

本文研究了RGB-D图像中物体检测的问题，利用语义丰富的图像和深度特征进行检测。我们提出了一种新的地心嵌入方法（geocentric embedding）用于深度图像，该方法不仅编码每个像素相对于地面的高度和与重力的角度，还包含了水平视差。实验结果表明，这种地心嵌入方法在使用卷积神经网络学习特征表示时优于原始深度图像。我们的最终物体检测系统达到了37.3%的平均精度，相比现有方法相对提高了56%。接下来，我们将重点放在实例分割任务上，即对检测器找到的物体实例所属的像素进行标记。为此，我们提出了一种决策森林方法（decision forest approach），通过一系列一元和二元测试查询形状和地心姿态特征，将检测窗口中的像素分类为前景或背景。最后，我们将物体检测器的输出应用于现有的超像素分类框架中进行语义场景分割，并在我们研究的物体类别上实现了比当前最先进方法高24%的相对改进。我们认为，本文所代表的这些进展将有助于促进感知技术在机器人等领域中的应用。