3 个月前

奇异值微调:少样本分割仅需少量参数微调

奇异值微调:少样本分割仅需少量参数微调

摘要

在少样本分割任务中,冻结预训练主干网络(backbone)已成为避免过拟合的标准范式。本文重新审视这一范式,探索一种新策略:仅微调主干网络中少量参数。我们提出一种有效方法,以克服过拟合问题,从而提升模型在学习新类别时的泛化能力。所提方法通过奇异值分解(Singular Value Decomposition, SVD)将主干网络的参数分解为三个连续矩阵,并仅对奇异值进行微调,其余部分保持冻结。该设计使模型能够在新类别上灵活调整特征表示,同时保留预训练主干网络中的语义信息。我们在多种基于不同主干网络的少样本分割方法上评估了所提出的奇异值微调(Singular Value Fine-tuning, SVF) 方法,在Pascal-5$^i$和COCO-20$^i$数据集上,无论是一次学习(1-shot)还是五次学习(5-shot)设置,均取得了当前最优性能。我们期望这一简洁的基线方法能促使研究者重新思考主干网络微调在少样本场景中的作用。相关源代码与模型将公开于:https://github.com/syp2ysy/SVF。

代码仓库

syp2ysy/SVF
官方
paddle
GitHub 中提及

基准测试

基准方法指标
few-shot-semantic-segmentation-on-coco-20i-1BAM (SVF, VGG-16)
Mean IoU: 43.76
few-shot-semantic-segmentation-on-coco-20i-1BAM (SVF, ResNet-50)
Mean IoU: 48.47
few-shot-semantic-segmentation-on-coco-20i-1PFENet (SVF, VGG-16)
Mean IoU: 42.24
few-shot-semantic-segmentation-on-coco-20i-1PFENet (SVF, ResNet-50)
Mean IoU: 48.02
few-shot-semantic-segmentation-on-coco-20i-5PFENet (SVF, ResNet-50)
Mean IoU: 54.38
few-shot-semantic-segmentation-on-coco-20i-5BAM (SVF, ResNet-50)
Mean IoU: 53.87
few-shot-semantic-segmentation-on-coco-20i-5PFENet (SVF, VGG-16)
Mean IoU: 49.49
few-shot-semantic-segmentation-on-coco-20i-5BAM (SVF, VGG-16)
Mean IoU: 49.07
few-shot-semantic-segmentation-on-pascal-5i-1BAM (SVF, VGG-16)
Mean IoU: 64.87
few-shot-semantic-segmentation-on-pascal-5i-1BAM (SVF, ResNet-50)
FB-IoU: 80.13
Mean IoU: 68.95
few-shot-semantic-segmentation-on-pascal-5i-1PFENet (SVF, ResNet-50)
FB-IoU: 79.07
Mean IoU: 68.15
few-shot-semantic-segmentation-on-pascal-5i-1PFENet (SVF, VGG-16)
Mean IoU: 64.33
few-shot-semantic-segmentation-on-pascal-5i-5PFENet (SVF, VGG-16)
Mean IoU: 69.8
few-shot-semantic-segmentation-on-pascal-5i-5BAM (SVF, ResNet-50)
FB-IoU: 83.17
Mean IoU: 72.28
few-shot-semantic-segmentation-on-pascal-5i-5BAM (SVF, VGG-16)
Mean IoU: 69.11
few-shot-semantic-segmentation-on-pascal-5i-5PFENet (SVF, ResNet-50)
FB-IoU: 82.77
Mean IoU: 71.82

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
奇异值微调:少样本分割仅需少量参数微调 | 论文 | HyperAI超神经