3 个月前

无需元学习的少样本分割:一个优秀的归纳推理就足够了吗?

无需元学习的少样本分割:一个优秀的归纳推理就足够了吗?

摘要

我们证明,在少样本分割任务中,推理方式对性能具有显著影响——这一因素在现有文献中常被忽视,而研究多集中于元学习范式。为此,我们提出一种针对给定查询图像的归纳式推理方法,通过优化一种包含三个互补项的新损失函数,利用查询图像中未标注像素的统计特性:i)在标注支持集像素上的交叉熵损失;ii)在未标注查询图像像素上的后验概率的香农熵;iii)基于预测前景比例的全局KL散度正则项。由于该推理过程仅采用提取特征的简单线性分类器,其计算开销与归纳式推理相当,可无缝集成于任意基础训练框架之上。在不依赖周期性训练(episodic training)的前提下,仅使用基础类别上的标准交叉熵训练,我们的方法在1-shot场景下即能在标准基准上取得具有竞争力的性能表现。随着可用样本数增加,性能差距进一步扩大:在PASCAL-5i数据集上,我们的方法在5-shot和10-shot场景下分别较当前最优方法提升约5%和6%。此外,我们提出一种包含领域偏移的新设置,其中基础类别与新类别来自不同数据集,更具现实意义。在此设置下,我们的方法仍能取得最佳性能。相关代码已公开,可访问:https://github.com/mboudiaf/RePRI-for-Few-Shot-Segmentation。

代码仓库

mboudiaf/RePRI-for-Few-Shot-Segmentation
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-semantic-segmentation-on-coco-20iRePRI (ResNet-50)
Mean IoU: 63.1
few-shot-semantic-segmentation-on-coco-20i-1RePRI (ResNet-50)
Mean IoU: 34.1
few-shot-semantic-segmentation-on-coco-20i-10RePRI (ResNet-50)
Mean IoU: 44.1
few-shot-semantic-segmentation-on-coco-20i-2RePRI (ResNet-50)
Mean IoU: 67.7
few-shot-semantic-segmentation-on-coco-20i-5RePRI (ResNet-50)
Mean IoU: 41.6
few-shot-semantic-segmentation-on-pascal-5iRePRI (ResNet-50)
Mean IoU: 68.1
few-shot-semantic-segmentation-on-pascal-5i-1RePRI (ResNet-50)
Mean IoU: 59.7
few-shot-semantic-segmentation-on-pascal-5i-1RePRI (ResNet-101)
Mean IoU: 59.4
few-shot-semantic-segmentation-on-pascal-5i-5RePRI (ResNet-50)
Mean IoU: 66.6
few-shot-semantic-segmentation-on-pascal-5i-5RePRI (ResNet-101)
Mean IoU: 65.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
无需元学习的少样本分割:一个优秀的归纳推理就足够了吗? | 论文 | HyperAI超神经