4 个月前

用于手术手势分割和分类的深度强化学习

用于手术手势分割和分类的深度强化学习

摘要

手术姿态识别对于手术技能评估和高效手术培训至关重要。以往的研究工作主要基于变体图模型(如HMMs和CRFs)或深度学习模型(如循环神经网络和时间卷积网络)。然而,当前大多数方法通常存在过度分割的问题,导致段落级别的编辑得分较低。相比之下,我们提出了一种本质上不同的方法,即将任务建模为一个顺序决策过程。通过使用来自深度模型的分层特征,训练了一个智能代理进行强化学习。为了减少过度分割错误,我们将时间一致性整合到我们的动作设计和奖励机制中。在JIGSAWS数据集上的实验表明,所提出的方法在编辑得分方面优于现有最先进方法,在帧级准确性方面则与之相当。我们的代码将在稍后发布。

代码仓库

基准测试

基准方法指标
action-segmentation-on-jigsawsRL (full)
Accuracy: 81.43
Edit Distance: 87.96
F1@10: 92.0
F1@25: 90.5
F1@50: 82.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于手术手势分割和分类的深度强化学习 | 论文 | HyperAI超神经