
摘要
我们证明,在少样本分割任务中,推理方式对性能具有显著影响——这一因素在现有文献中常被忽视,而研究多集中于元学习范式。为此,我们提出一种针对给定查询图像的归纳式推理方法,通过优化一种包含三个互补项的新损失函数,利用查询图像中未标注像素的统计特性:i)在标注支持集像素上的交叉熵损失;ii)在未标注查询图像像素上的后验概率的香农熵;iii)基于预测前景比例的全局KL散度正则项。由于该推理过程仅采用提取特征的简单线性分类器,其计算开销与归纳式推理相当,可无缝集成于任意基础训练框架之上。在不依赖周期性训练(episodic training)的前提下,仅使用基础类别上的标准交叉熵训练,我们的方法在1-shot场景下即能在标准基准上取得具有竞争力的性能表现。随着可用样本数增加,性能差距进一步扩大:在PASCAL-5i数据集上,我们的方法在5-shot和10-shot场景下分别较当前最优方法提升约5%和6%。此外,我们提出一种包含领域偏移的新设置,其中基础类别与新类别来自不同数据集,更具现实意义。在此设置下,我们的方法仍能取得最佳性能。相关代码已公开,可访问:https://github.com/mboudiaf/RePRI-for-Few-Shot-Segmentation。
代码仓库
Bingolby/medical_few_shot_segmentation
pytorch
GitHub 中提及
mboudiaf/RePRI-for-Few-Shot-Segmentation
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-semantic-segmentation-on-coco-20i | RePRI (ResNet-50) | Mean IoU: 63.1 |
| few-shot-semantic-segmentation-on-coco-20i-1 | RePRI (ResNet-50) | Mean IoU: 34.1 |
| few-shot-semantic-segmentation-on-coco-20i-10 | RePRI (ResNet-50) | Mean IoU: 44.1 |
| few-shot-semantic-segmentation-on-coco-20i-2 | RePRI (ResNet-50) | Mean IoU: 67.7 |
| few-shot-semantic-segmentation-on-coco-20i-5 | RePRI (ResNet-50) | Mean IoU: 41.6 |
| few-shot-semantic-segmentation-on-pascal-5i | RePRI (ResNet-50) | Mean IoU: 68.1 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | RePRI (ResNet-50) | Mean IoU: 59.7 |
| few-shot-semantic-segmentation-on-pascal-5i-1 | RePRI (ResNet-101) | Mean IoU: 59.4 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | RePRI (ResNet-50) | Mean IoU: 66.6 |
| few-shot-semantic-segmentation-on-pascal-5i-5 | RePRI (ResNet-101) | Mean IoU: 65.6 |