摘要

在手术室中，情境感知决策支持系统可以通过利用手术流程分析提供的实时反馈来提高手术的安全性和效率。现有的大多数研究工作主要识别粗粒度的手术活动，如阶段、步骤或事件，而忽略了关于手术活动的细粒度交互细节；然而，这些细节对于实现更有帮助的人工智能（AI）辅助手术至关重要。将手术动作识别为<器械, 动词, 目标>三元组组合可以提供关于手术视频中正在进行活动的全面细节。本文介绍了CholecTriplet2021：一项在2021年MICCAI会议上组织的内窥镜视觉挑战赛，旨在从腹腔镜视频中识别手术动作三元组。该挑战赛为参与者提供了对大规模CholecT50数据集的私有访问权限，该数据集标注了动作三元组信息。本文详细介绍了挑战赛的设置，并评估了参赛者提出的最先进深度学习方法。文中展示了来自挑战赛组织者的4种基线方法以及竞赛团队提出的19种新的深度学习算法，这些算法直接从手术视频中识别手术动作三元组，平均精度（mAP）范围从4.2%到38.1%。本研究还分析了所提出方法获得的结果的重要性，进行了详尽的方法学比较、深入的结果分析，并提出了一种新的集成方法以增强识别效果。我们的分析表明，手术流程分析尚未完全解决，并且强调了未来在细粒度手术活动识别领域的有趣研究方向，这对于推动外科人工智能的发展具有重要意义。