HyperAIHyperAI

Command Palette

Search for a command to run...

LViT:语言与视觉Transformer在医学图像分割中的融合

Zihan Li Yunxiang Li Qingde Li Puyang Wang Dazhou Guo Le Lu Dakai Jin You Zhang Qingqi Hong

摘要

深度学习在医学图像分割及其他领域已得到广泛应用。然而,现有医学图像分割模型的性能受限于高质量标注数据获取困难的问题,这主要源于数据标注成本高昂。为缓解这一瓶颈,本文提出一种新型文本增强型医学图像分割模型——LViT(Language meets Vision Transformer)。在LViT模型中,引入医学文本标注信息以弥补图像数据在质量上的不足;同时,文本信息可指导在半监督学习框架下生成质量更高的伪标签。此外,我们设计了一种指数型伪标签迭代机制(Exponential Pseudo label Iteration, EPI),以帮助像素级注意力模块(Pixel-Level Attention Module, PLAM)在半监督LViT设置中有效保留局部图像特征。在模型训练中,我们提出LV(Language-Vision)损失函数,直接利用文本信息对未标注图像进行监督学习。为评估模型性能,我们构建了三个多模态医学图像分割数据集(包含图像与文本信息),涵盖X光与CT影像。实验结果表明,所提出的LViT模型在全监督与半监督两种设置下均展现出优越的分割性能。相关代码与数据集已开源,地址为:https://github.com/HUANGLIZI/LViT


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LViT:语言与视觉Transformer在医学图像分割中的融合 | 论文 | HyperAI超神经