摘要

在手术视频中识别阶段对于提升计算机辅助手术系统至关重要，因为它能够实现对手术过程各个顺序阶段的自动化理解。现有的方法通常依赖于固定的时序窗口进行视频分析以识别动态手术阶段，因此难以同时捕捉到复杂手术过程中所需的短期、中期和长期信息。为了解决这些问题，我们提出了一种新的基于Transformer的方法——多尺度Transformer用于手术阶段识别（MuST），该方法结合了多时序帧编码器和时间一致性模块，能够在手术视频的多个时间尺度上捕捉信息。我们的多时序帧编码器通过围绕感兴趣帧以递增步长采样序列来计算不同时间尺度层次之间的相互依赖关系。此外，我们在帧嵌入上应用了一个长期Transformer编码器，以进一步增强长期推理能力。MuST在三个不同的公开基准测试中均取得了比现有最先进方法更高的性能。