摘要

我们应用循环神经网络（Recurrent Neural Networks, RNN）来从机器人运动学数据中识别外科手术活动。此前的研究主要集中在识别短时间的低层次活动或手势，并基于隐马尔可夫模型（Hidden Markov Models, HMM）和条件随机场（Conditional Random Fields, CRF）的变体进行建模。相比之下，我们的研究不仅关注手势的识别，还涵盖了长时间的高层次活动或操作手法，并使用循环神经网络对从运动学到手势/操作手法的映射进行建模。据我们所知，这是首次将循环神经网络应用于这一任务。通过使用单一模型和一组超参数，我们在手势识别方面达到了现有最佳水平，并在操作手法识别方面取得了更高的性能提升，无论是在准确率还是编辑距离上均有所突破。代码已发布在 https://github.com/rdipietro/miccai-2016-surgical-activity-rec 。