3 个月前

边界感知的Transformer用于皮肤病变分割

边界感知的Transformer用于皮肤病变分割

摘要

从皮肤镜图像中进行皮肤病变分割对于提升皮肤癌的定量分析具有重要意义。然而,由于黑色素瘤形态差异大且病灶边界模糊,其自动分割仍是一项极具挑战性的任务。尽管卷积神经网络(CNNs)在该任务中已取得显著进展,但现有大多数方法仍难以有效捕捉全局依赖关系,难以克服受限感受野所导致的归纳偏置问题。近年来,Transformer因其强大的全局注意力机制,被视为建模全局上下文信息的有前景工具;然而,其在分割任务中的主要缺陷之一在于无法有效提取足够的局部细节,难以应对边界模糊的挑战。为此,本文提出一种新型的边界感知Transformer(Boundary-aware Transformer, BAT),以系统性地解决自动皮肤病变分割中的关键难题。具体而言,我们在Transformer架构中引入了一种新型的边界感知注意力门控机制(Boundary-wise Attention Gate, BAG),使整个网络不仅能通过Transformer有效建模长距离全局依赖关系,同时还能充分利用边界先验知识,充分捕捉更多局部细节。特别地,BAG的辅助监督机制能够为Transformer提供丰富的空间信息,从而辅助其学习更优的位置嵌入。我们在两个知名数据集上开展了大量实验,结果验证了所提方法的有效性,BAT在各项指标上均持续优于当前最先进的分割方法。

代码仓库

jcwang123/BA-Transformer
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
lesion-segmentation-on-isic-2018BAT
Mean IoU: 0.843
mean Dice: 0.912

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
边界感知的Transformer用于皮肤病变分割 | 论文 | HyperAI超神经