4 个月前

实时自动M型超声心动图测量:从局部到全局像素的面板注意力方法

实时自动M型超声心动图测量:从局部到全局像素的面板注意力方法

摘要

运动模式(M-模式)记录是超声心动图中测量心脏尺寸和功能的重要组成部分。然而,目前的诊断方法尚无法实现自动化方案,主要存在三个根本障碍:首先,缺乏公开的数据集来构建自动化系统,以确保结果的一致性并连接M-模式超声心动图与实时实例分割(RIS);其次,M-模式超声心动图的检查涉及耗时的手动标记过程;最后,由于超声心动图中的对象占据大量像素,现有骨干网络(如ResNet)中的多层卷积所组成的有限感受野无法有效覆盖瓣膜运动的整个周期。现有的非局部注意力机制(NL)要么因计算开销高而无法实现实时处理,要么在简化版本中丢失了信息。因此,我们提出了RAMEM,一种实时自动M-模式超声心动图测量方案,在三个方面解决了上述问题:1)提供MEIS数据集,该数据集包含用于实例分割的M-模式超声心动图图像,以实现一致的结果并支持自动化方案的发展;2)提出面板注意力机制,通过像素解混洗实现从局部到全局的有效注意力,并结合更新后的UPANets V2,在具有全局感受野的RIS框架下进行大目标检测;3)开发并实现了AMEM算法,这是一种高效的自动M-模式超声心动图测量算法,能够在诊断过程中实现快速且准确的自动标记。实验结果显示,RAMEM在PASCAL 2012 SBD数据集上超越了现有的带有非局部注意力机制的RIS骨干网络,并在实时MEIS测试中超过了人类的表现。MEIS数据集和代码可在https://github.com/hanktseng131415go/RAME获取。

代码仓库

hanktseng131415go/ramem
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
real-time-instance-segmentation-on-meismaYOLACT ResNet50
FLOPs (G): 0.4826
Frame (fps): 36.13
Size (M): 30.38
avgAP (mask AP + box AP): 46.29
boxAP: 49.59
maskAP: 42.99
real-time-instance-segmentation-on-meisRAMEM UPANet80 V2
FLOPs (G): 100.85
Frame (fps): 52.22
Size (M): 40.28
avgAP (mask AP + box AP): 47.15
boxAP: 51.2
maskAP: 43.09
real-time-instance-segmentation-on-pascal-vocmaYOLACT ResNet50
FLOPs (G): 48.26
Frame (fps): 81.27
Size (M): 30.41
avgAP (mask AP + box AP): 37.39
boxAP: 37.50
maskAP: 37.27
real-time-instance-segmentation-on-pascal-vocRAMEM UPANet80 V2
FLOPs (G): 100.85
Frame (fps): 60.93
Size (M): 40.32
avgAP (mask AP + box AP): 42.69
boxAP: 42.96
maskAP: 42.42
real-time-instance-segmentation-on-pascal-vocYOLACT ResNet50
FLOPs (G): 48.26
Frame (fps): 81.11
Size (M): 30.41
avgAP (mask AP + box AP): 35.73
boxAP: 36.65
maskAP: 35.12

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
实时自动M型超声心动图测量:从局部到全局像素的面板注意力方法 | 论文 | HyperAI超神经