4 个月前

面向指导的蒸馏方法在半监督实例分割中的应用

面向指导的蒸馏方法在半监督实例分割中的应用

摘要

尽管实例分割方法已经取得了显著进步,但主流范式仍然依赖于完全注释的训练图像,而这些图像的获取非常繁琐。为了减轻对完全注释数据的依赖并提升性能,半监督方法利用未标记数据作为额外的训练信号,以减少对已标记样本的过拟合。在此背景下,我们提出了一些新的设计选择,以显著改进教师-学生蒸馏模型。具体而言,我们(i)通过引入一种新颖的“引导预热”阶段来改进蒸馏方法;(ii)评估了不同的实例分割架构以及主干网络和预训练策略。与以往仅在学生模型的预热期使用有监督数据的工作不同,我们还利用教师模型的指导,在预热期中利用未标记数据。我们的改进蒸馏方法在先前的最佳结果上实现了显著提升。例如,在Cityscapes数据集上,当使用10%的图像标签时,我们的方法将mask-AP从23.7提高到33.9;而在COCO数据集上,当仅使用1%的训练数据标签时,我们的方法将mask-AP从18.3提高到34.1。

代码仓库

facebookresearch/guideddistillation
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-instance-segmentation-on-coco-4Guided Distillation (ResNet50)
mask AP: 21.5
semi-supervised-instance-segmentation-on-coco-5Guided Distillation (ResNet50)
mask AP: 25.3
semi-supervised-instance-segmentation-on-coco-6Guided Distillation (ResNet50)
mask AP: 29.9
semi-supervised-instance-segmentation-on-coco-7Guided Distillation (ResNet50)
mask AP: 35.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向指导的蒸馏方法在半监督实例分割中的应用 | 论文 | HyperAI超神经