4 个月前

一种用于广义少样本语义分割的强大基线方法

一种用于广义少样本语义分割的强大基线方法

摘要

本文介绍了一种广义的小样本分割框架,该框架具有简单的训练过程和易于优化的推理阶段。特别地,我们提出了一种基于著名的InfoMax原则的简单而有效的模型,其中最大化了学习到的特征表示与其相应预测之间的互信息(Mutual Information, MI)。此外,从我们的基于MI的公式推导出的项与知识蒸馏项结合,以保留基础类的知识。通过简单的训练过程,我们的推理模型可以应用于任何在基础类上训练的分割网络之上。所提出的推理方法在流行的小样本分割基准测试PASCAL-$5^i$和COCO-$20^i$上取得了显著的改进。特别是对于新类别,在1-shot和5-shot场景中,PASCAL-$5^i$上的性能提升范围为7%至26%,COCO-$20^i$上的性能提升范围为3%至12%。此外,我们还提出了一种更具挑战性的设置,在这种设置下,性能差距进一步加剧。我们的代码已公开发布在https://github.com/sinahmr/DIaM。

代码仓库

cliffbb/oem-fewshot-challenge
pytorch
GitHub 中提及
sinahmr/diam
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
generalized-few-shot-semantic-segmentation-onDIaM (ResNet-50)
Mean Base and Novel: 53
Mean IoU: 61.95
generalized-few-shot-semantic-segmentation-on-1DIaM (ResNet-50)
Mean Base and Novel: 63.08
Mean IoU: 66.97
generalized-few-shot-semantic-segmentation-on-2DIaM (ResNet-50)
Mean Base and Novel: 32.75
Mean IoU: 40.52
generalized-few-shot-semantic-segmentation-on-3DIaM (ResNet-50)
Mean Base and Novel: 38.55
Mean IoU: 43.46

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
一种用于广义少样本语义分割的强大基线方法 | 论文 | HyperAI超神经