摘要

手术流程识别在医学领域具有广泛的应用潜力，例如自动索引手术视频数据库和优化实时手术室调度等。因此，针对多种类型的手术（如白内障手术、神经外科手术和腹腔镜手术）的阶段识别研究已经展开。现有文献中，通常使用两种类型的特点来完成这一任务：视觉特征和工具使用信号。然而，所使用的视觉特征大多为手工设计。此外，工具使用信号通常是通过手动注释过程或使用额外设备收集的。本文提出了一种新的阶段识别方法，该方法利用卷积神经网络（CNN）从胆囊切除术视频中自动学习特征，并且仅依赖于视觉信息。以往的研究表明，工具信号在执行阶段识别任务时可以提供有价值的信息。因此，我们介绍了一种名为EndoNet的新CNN架构，该架构旨在以多任务方式同时进行阶段识别和工具存在检测。据我们所知，这是首次提出使用CNN对腹腔镜视频进行多任务识别的研究工作。广泛的实验对比显示，EndoNet在这两项任务上均达到了当前最佳的结果。