4 个月前

利用序列先验校正噪声标签:多尺度时序特征亲和力学习以实现鲁棒视频分割

利用序列先验校正噪声标签:多尺度时序特征亲和力学习以实现鲁棒视频分割

摘要

在医学图像分割中,噪声标签问题是不可避免的,会导致性能严重下降。以往针对噪声标签问题的分割方法仅利用单幅图像,而忽略了图像之间相关性的潜在价值。特别是在视频分割中,相邻帧包含丰富的上下文信息,有助于识别噪声标签。基于这两个洞见,我们提出了一种多尺度时域特征亲和力学习(MS-TFAL)框架,以解决带有噪声标签的医学视频分割问题。首先,我们认为视频的顺序先验是一种有效的参考,即同一类别的相邻帧中的像素级特征距离较近,不同类别的则距离较远。因此,我们设计了时域特征亲和力学习(TFAL),通过评估两幅相邻帧中像素之间的亲和力来指示可能存在的噪声标签。此外,我们注意到噪声分布在网络、图像和像素层面表现出显著的变化。为此,我们引入了多尺度监督(MSS),通过对样本进行重新加权和精炼,从三个不同的角度监督网络。这种设计使网络能够在粗到细的过程中专注于干净的样本。实验结果表明,在合成和真实世界噪声标签数据集上,我们的方法均优于最近的先进鲁棒分割方法。代码已发布在 https://github.com/BeileiCui/MS-TFAL。

代码仓库

beileicui/ms-tfal
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-polyp-segmentation-on-sun-seg-easy-1MS-TFAL
Dice: 0.859
IoU: 0.792
video-polyp-segmentation-on-sun-seg-hard-1MS-TFAL
Dice: 0.862
IoU: 0.788

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
利用序列先验校正噪声标签:多尺度时序特征亲和力学习以实现鲁棒视频分割 | 论文 | HyperAI超神经