4 个月前

应对持续语义分割中的灾难性遗忘和背景变化

应对持续语义分割中的灾难性遗忘和背景变化

摘要

深度学习方法如今被广泛应用于解决计算机视觉任务,如语义分割,这些任务需要大规模的数据集和大量的计算资源。连续学习在语义分割中的应用(Continual Learning for Semantic Segmentation, CSS)是一种新兴趋势,它通过依次添加新类别来更新旧模型。然而,连续学习方法通常容易遭受灾难性遗忘。在CSS中,这一问题进一步加剧,因为在每个步骤中,旧迭代中的旧类别会被合并到背景中。本文提出了一种多尺度池化蒸馏方案——局部POD(Local POD),该方案能够在特征层面上保留长距离和短距离的空间关系。此外,我们设计了一种基于熵的伪标签方法,用于根据旧模型预测的类别对背景进行伪标记,以应对背景偏移并避免旧类别的灾难性遗忘。最后,我们引入了一种特别适用于分割的新重演方法。我们的方法称为PLOP,在现有的CSS场景以及新提出的具有挑战性的基准测试中均显著优于现有最先进方法。

基准测试

基准方法指标
overlapped-10-1-on-pascal-voc-2012PLOPLong
mIoU: 40.83
overlapped-15-1-on-pascal-voc-2012PLOPLong
mIoU: 61.21
overlapped-15-5-on-pascal-voc-2012PLOPLong
Mean IoU (val): 69.37

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
应对持续语义分割中的灾难性遗忘和背景变化 | 论文 | HyperAI超神经