
摘要
结肠镜检查是诊断结直肠疾病的金标准,但其效果高度依赖于操作者的技术水平。自动息肉分割技术可以减少漏诊率,并在早期阶段及时治疗结肠癌。尽管已经开发了多种深度学习方法用于此任务,但息肉大小的变化可能会影响模型训练,从而导致模型对大多数训练样本的大小属性进行优化,而对不同大小的息肉产生次优结果。在本研究中,我们利用了与息肉大小和数量相关的特征,在训练过程中引入了文本注意力机制。我们引入了一个辅助分类任务来加权基于文本的嵌入向量,使网络能够学习额外的特征表示,从而更好地适应不同大小的息肉,并且能够处理多发性息肉的情况。实验结果显示,这些添加的文本嵌入向量显著提高了模型的整体性能,优于现有的最先进的分割方法。我们探索了四个不同的数据集,并提供了针对特定大小息肉改进的见解。所提出的文本引导注意力网络(TGANet)在不同数据集中对各种大小的息肉具有良好的泛化能力。
代码仓库
nikhilroxtomar/tganet
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| medical-image-segmentation-on-bkai-igh | TGANet | Average Dice: 0.9023 mIoU: 0.8409 |
| medical-image-segmentation-on-kvasir-seg | TGA-Net | mIoU: 0.8330 mean Dice: 0.8982 |
| polyp-segmentation-on-kvasir-seg | TGA-Net | mDice: 0.8982 mIoU: 0.8330 |