摘要
旋转不变性是医学图像分析中机器学习模型所期望的特性，尤其是在计算病理学应用中。我们提出了一种框架，通过引入SE(2)群卷积层，将特殊欧几里得运动群SE(2)的几何结构编码到卷积网络中，从而实现平移和旋转等变性。该结构使模型能够学习具有离散方向维度的特征表示，确保其输出在一组离散旋转下保持不变。传统的旋转不变性方法主要依赖于数据增强，但这并不能保证当输入图像发生旋转时输出的鲁棒性。因此，训练好的传统CNN可能需要在测试时进行旋转增强才能充分发挥其潜力。本研究专注于组织病理学图像分析应用，在这些应用中，希望机器学习模型不会捕捉到成像组织的任意全局方向信息。所提出的框架在三个不同的组织病理学图像分析任务（有丝分裂检测、细胞核分割和肿瘤分类）上进行了评估。我们对每个问题进行了比较分析，并展示了使用所提出的框架可以实现性能的一致提升。
代码仓库
tueimage/se2cnn
官方
tf
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| breast-tumour-classification-on-pcam | G-CNN (C8) | AUC: 0.968 |
| breast-tumour-classification-on-pcam | G-CNN (C12) | AUC: 0.962 |
| colorectal-gland-segmentation-on-crag | G-CNN (C8) | Dice: 0.866 F1-score: 0.837 Hausdorff Distance (mm): 157.4 |
| colorectal-gland-segmentation-on-crag | G-CNN (C12) | Dice: 0.834 F1-score: 0.818 Hausdorff Distance (mm): 192.2 |
| multi-tissue-nucleus-segmentation-on-kumar | G-CNN (C12) | Dice: 0.814 Hausdorff Distance (mm): 53.4 |
| multi-tissue-nucleus-segmentation-on-kumar | G-CNN (C12) | Dice: 0.811 Hausdorff Distance (mm): 51.9 |