3 个月前

少样本语义分割的感知部分原型网络

少样本语义分割的感知部分原型网络

摘要

少样本语义分割旨在仅通过少量标注样本即可学习对新物体类别进行分割,具有广泛的实际应用前景。现有大多数方法要么局限于单向少样本分割的限制性设定,要么在物体区域的覆盖上存在不完整性。本文提出一种基于原型表示的新型少样本语义分割框架。其核心思想是将整体类别表征分解为一组具有部件感知能力的原型,从而能够捕捉到多样化且细粒度的物体特征。此外,我们提出利用未标注数据来丰富这些部件感知原型,进而更有效地建模语义对象内部的类别差异。为此,我们设计了一种新型图神经网络模型,基于有标注和无标注图像生成并优化所提出的部件感知原型。在两个基准数据集上的大量实验评估表明,所提方法显著优于现有先进方法。

代码仓库

Xiangyi1996/PPNet-PyTorch
官方
pytorch
GitHub 中提及
LiheYoung/MiningFSS
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-semantic-segmentation-on-coco-20i-1PPNet (ResNet-50)
Mean IoU: 29.0
learnable parameters (million): 31.5
few-shot-semantic-segmentation-on-coco-20i-2-1PPNet (ResNet-50)
mIoU: 20.4
few-shot-semantic-segmentation-on-coco-20i-5PPNet (ResNet-50)
Mean IoU: 38.5
learnable parameters (million): 31.5
few-shot-semantic-segmentation-on-pascal-5i-1PPNet (ResNet-50)
Mean IoU: 51.5
learnable parameters (million): 31.5
few-shot-semantic-segmentation-on-pascal-5i-5PPNet (ResNet-50)
Mean IoU: 62.0
learnable parameters (million): 31.5
few-shot-semantic-segmentation-on-pascal5i-1PPNet
meanIOU: 55.16

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
少样本语义分割的感知部分原型网络 | 论文 | HyperAI超神经