
摘要
运动模式(M-模式)记录是超声心动图中测量心脏尺寸和功能的重要组成部分。然而,目前的诊断方法尚无法实现自动化方案,主要存在三个根本障碍:首先,缺乏公开的数据集来构建自动化系统,以确保结果的一致性并连接M-模式超声心动图与实时实例分割(RIS);其次,M-模式超声心动图的检查涉及耗时的手动标记过程;最后,由于超声心动图中的对象占据大量像素,现有骨干网络(如ResNet)中的多层卷积所组成的有限感受野无法有效覆盖瓣膜运动的整个周期。现有的非局部注意力机制(NL)要么因计算开销高而无法实现实时处理,要么在简化版本中丢失了信息。因此,我们提出了RAMEM,一种实时自动M-模式超声心动图测量方案,在三个方面解决了上述问题:1)提供MEIS数据集,该数据集包含用于实例分割的M-模式超声心动图图像,以实现一致的结果并支持自动化方案的发展;2)提出面板注意力机制,通过像素解混洗实现从局部到全局的有效注意力,并结合更新后的UPANets V2,在具有全局感受野的RIS框架下进行大目标检测;3)开发并实现了AMEM算法,这是一种高效的自动M-模式超声心动图测量算法,能够在诊断过程中实现快速且准确的自动标记。实验结果显示,RAMEM在PASCAL 2012 SBD数据集上超越了现有的带有非局部注意力机制的RIS骨干网络,并在实时MEIS测试中超过了人类的表现。MEIS数据集和代码可在https://github.com/hanktseng131415go/RAME获取。
代码仓库
hanktseng131415go/ramem
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| real-time-instance-segmentation-on-meis | maYOLACT ResNet50 | FLOPs (G): 0.4826 Frame (fps): 36.13 Size (M): 30.38 avgAP (mask AP + box AP): 46.29 boxAP: 49.59 maskAP: 42.99 |
| real-time-instance-segmentation-on-meis | RAMEM UPANet80 V2 | FLOPs (G): 100.85 Frame (fps): 52.22 Size (M): 40.28 avgAP (mask AP + box AP): 47.15 boxAP: 51.2 maskAP: 43.09 |
| real-time-instance-segmentation-on-pascal-voc | maYOLACT ResNet50 | FLOPs (G): 48.26 Frame (fps): 81.27 Size (M): 30.41 avgAP (mask AP + box AP): 37.39 boxAP: 37.50 maskAP: 37.27 |
| real-time-instance-segmentation-on-pascal-voc | RAMEM UPANet80 V2 | FLOPs (G): 100.85 Frame (fps): 60.93 Size (M): 40.32 avgAP (mask AP + box AP): 42.69 boxAP: 42.96 maskAP: 42.42 |
| real-time-instance-segmentation-on-pascal-voc | YOLACT ResNet50 | FLOPs (G): 48.26 Frame (fps): 81.11 Size (M): 30.41 avgAP (mask AP + box AP): 35.73 boxAP: 36.65 maskAP: 35.12 |