HyperAIHyperAI

Command Palette

Search for a command to run...

PMC-CLIP:基于生物医学文献的对比语言-图像预训练

Weixiong Lin Ziheng Zhao Xiaoman Zhang Chaoyi Wu Ya Zhang Yanfeng Wang Weidi Xie

摘要

近年来,基于大规模数据集训练的预训练模型在计算机视觉(CV)和自然语言处理(NLP)领域取得了显著进展。然而,由于生物医学领域数据资源匮乏,该领域的模型发展仍远远落后。为解决这一问题,我们构建并发布了PMC-OA——一个包含160万张图像-标题配对的生物医学数据集,其规模是此前同类数据集的8倍。该数据集覆盖多种模态和疾病类型,且绝大多数图像-标题样本在更细粒度的层级上对齐,即以子图(subfigure)与子标题(subcaption)为单位进行配对。我们在PMC-OA上对类似CLIP架构的模型进行预训练,所提出的模型名为PMC-CLIP,在多个下游任务中均取得了当前最优性能,包括在ROCO数据集上的图像-文本检索任务、MedMNIST图像分类任务以及医学视觉问答(Medical VQA)任务,分别实现了图像-文本检索R@10指标提升8.1%、图像分类准确率提升3.9%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供