3 个月前

基于自监督学习的内窥镜视频分析

基于自监督学习的内窥镜视频分析

摘要

自监督学习(Self-supervised Learning, SSL)通过利用大量未标注数据进行学习,在计算机视觉领域取得了重要突破。这一技术在生物医学领域可能具有关键作用,因为医学数据的标注通常需要高度专业化的知识。然而,目前在许多医疗领域,SSL尚未得到充分探索。其中一个代表性领域是内窥镜检查——一种常用于检测和治疗感染、慢性炎症性疾病及癌症的微创手术技术。在本研究中,我们探讨了前沿的自监督学习框架——掩码孪生网络(Masked Siamese Networks, MSNs)在内窥镜视频分析中的应用,涵盖结肠镜检查与腹腔镜检查等场景。为充分发挥SSL的潜力,我们构建了大规模的未标注内窥镜视频数据集,用于训练MSNs。这些强大的图像表征可作为后续微调的基础,仅需少量标注数据即可实现卓越性能,在多项内窥镜基准任务中达到当前最优水平,例如腹腔镜手术阶段识别与结肠镜息肉分类。此外,我们在不损失性能的前提下,将标注数据量减少了50%。因此,本研究为自监督学习在内窥镜领域显著降低对标注数据依赖性提供了有力证据。

代码仓库

基准测试

基准方法指标
surgical-phase-recognition-on-cholec80-1MSN
F1: 89.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于自监督学习的内窥镜视频分析 | 论文 | HyperAI超神经