Nikhil Kumar TomarDebesh JhaMichael A. RieglerHåvard D. JohansenDag JohansenJens RittscherPål HalvorsenSharib Ali

摘要
可用的大规模临床与实验数据集的增加,推动了生物医学图像分析领域取得大量重要成果。其中,图像分割作为定量分析的关键环节,尤其受到广泛关注。近年来,硬件技术的进步促进了深度学习方法的成功应用。然而,尽管深度学习模型已在大规模数据集上进行训练,现有方法仍未能有效利用不同训练周期(epoch)之间的信息。在本研究中,我们充分利用每个训练周期的信息,对后续周期的预测结果进行剪枝优化。为此,我们提出一种新型网络架构——反馈注意力网络(Feedback Attention Network, FANet),该架构将前一训练周期的分割掩码与当前训练周期的特征图进行融合。通过该机制,前一周期的掩码作为硬注意力(hard attention)机制,引导网络在不同卷积层上对学习到的特征图进行聚焦。此外,该网络还支持在测试阶段以迭代方式对预测结果进行修正。实验结果表明,所提出的反馈注意力模型在七个公开可用的生物医学图像数据集上,显著提升了多数分割指标的表现,充分验证了FANet的有效性。相关源代码已开源,地址为:https://github.com/nikhilroxtomar/FANet。
代码仓库
nikhilroxtomar/fanet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| medical-image-segmentation-on-2018-data | FANet | Dice: 0.9176 Precision: 0.9194 Recall: 0.9222 mIoU: 0.8569 |
| medical-image-segmentation-on-chase-db1 | FANet | DSC: 0.8108 |
| medical-image-segmentation-on-cvc-clinicdb | FANet | mean Dice: 0.9355 |
| medical-image-segmentation-on-drive-1 | FANet | F1 score: 0.8183 Precision: 0.8189 Recall: 0.8215 Specificity: 0.9826 mIoU: 0.6927 |
| medical-image-segmentation-on-em | FANet | DSC: 0.9547 IoU: 0.9134 Precision: 0.9529 Recall: 0.9568 Specificity: 0.8096 |
| medical-image-segmentation-on-isic-2018-1 | FANet | DSC: 87.31 |
| medical-image-segmentation-on-kvasir-seg | FANet | Average MAE: 0.8153 mean Dice: 0.8803 |