3 个月前

在多样化病理学数据集上对自监督学习进行基准测试

在多样化病理学数据集上对自监督学习进行基准测试

摘要

计算病理学有望挽救人类生命,但现有模型对标注数据依赖性强,而病理图像的标注成本极高,长期困扰该领域发展。自监督学习(Self-supervised Learning, SSL)在利用未标注数据方面展现出显著成效,其在病理学中的应用有望显著提升下游任务的性能。然而,目前尚缺乏系统性研究对不同SSL方法进行比较,也缺乏针对病理学特性优化SSL方法的理论指导。为填补这一空白,我们开展了迄今规模最大的病理图像自监督预训练研究。本研究基于四种代表性SSL方法,在多种下游任务上进行系统评估。结果表明,在标准的自监督学习设置(如线性评估和微调评估)以及低标注数据场景下,大规模领域对齐的病理图像预训练均显著优于传统的ImageNet预训练。此外,我们提出了一组面向病理学领域的专用技术,实验验证其可带来显著的性能提升。最后,我们首次将自监督学习应用于具有挑战性的细胞核实例分割任务,在多种不同设置下均实现了显著且一致的性能改进。

代码仓库

kaiko-ai/eva
pytorch
GitHub 中提及

基准测试

基准方法指标
classification-on-mhistSwAV (ResNet-50)
Accuracy: 77.99
classification-on-mhistSupervised (ViT-S/16)
Accuracy: 81.68
classification-on-mhistMoCo-v2 (ResNet-50)
Accuracy: 85.88
classification-on-mhistBarlow Rwins (ResNet-50)
Accuracy: 81.27
classification-on-mhistSupervised (ResNet-50)
Accuracy: 78.92
classification-on-mhistDINO (ViT-S/16)
Accuracy: 79.43

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
在多样化病理学数据集上对自监督学习进行基准测试 | 论文 | HyperAI超神经