摘要

自动手术手势识别对于实现机器人手术中的智能认知辅助具有根本性的重要性。随着机器人辅助微创手术的最新进展，可以记录丰富的信息，包括手术视频和机器人运动学数据，这些信息为理解手术手势提供了互补的知识。然而，现有的方法要么仅采用单模态数据，要么直接拼接多模态表示，这无法充分挖掘视觉和运动学数据中固有的信息相关性以提高手势识别的准确性。为此，我们提出了一种新颖的在线多模态关系图网络（即MRG-Net）方法，通过在潜在特征空间中的交互消息传播动态整合视觉和运动学信息。具体而言，我们首先使用时间卷积网络和LSTM单元从视频和运动学序列中提取嵌入向量。接下来，我们在这些多模态嵌入向量中识别多种关系，并通过分层关系图学习模块加以利用。我们的方法在公开的JIGSAWS数据集上展示了最先进的结果，在缝合和打结任务中均优于当前的单模态和多模态方法。此外，我们在两个中心使用da Vinci研究套件（dVRK）平台收集的内部视觉-运动学数据集上验证了我们的方法，并取得了持续且令人满意的表现。