摘要

近年来，将RGB-D数据应用于机器人感知任务在机器人学与自动驾驶等领域引起了广泛关注。然而，该领域一个突出的挑战在于特征鲁棒性对分割与位姿估计任务均具有显著影响。为应对这一挑战，本文提出了一种开创性的两阶段混合卷积神经网络（CNN）架构，实现了分割与位姿估计任务的协同优化。具体而言，我们设计了跨模态（Cross-Modal, CM）与跨层（Cross-Layer, CL）模块，以充分挖掘RGB图像与深度模态之间的互补信息，以及网络不同层级所提取的层次化特征。CM与CL模块的融合策略有效捕捉了空间与上下文信息，显著提升了分割精度。此外，我们引入了卷积块注意力模块（Convolutional Block Attention Module, CBAM），通过动态重校准特征图，使网络能够聚焦于更具信息量的区域与通道，从而进一步提升位姿估计的整体性能。我们在多个基准数据集上开展了大量实验，验证了所提方法的有效性，取得了优异的物体位姿估计结果：在ADD-S AUC指标下平均精度达到94.5%，且ADD-S小于2 cm的占比高达97.6%。实验结果充分证明了所提出方法在性能上的优越性。