3 个月前

DMT:用于半监督学习的动态互训机制

DMT:用于半监督学习的动态互训机制

摘要

近年来,半监督学习方法普遍以伪监督(pseudo supervision)为核心思想,其中自训练(self-training)方法通过生成伪标签来利用未标记数据。然而,伪标签存在可靠性问题。现有的自训练方法通常仅依赖单个模型的预测置信度来筛选低置信度的伪标签,这会导致高置信度的错误标签被保留,同时大量本应正确的低置信度标签被误删,造成信息浪费。本文指出,模型难以有效识别自身产生的错误。相反,利用不同模型之间的预测不一致性(inter-model disagreement)是定位伪标签错误的关键。基于这一新视角,我们提出一种基于动态重加权损失函数的双模型互训机制,称为动态互训(Dynamic Mutual Training, DMT)。该方法通过比较两个不同模型的预测结果来量化模型间的不一致性:当预测差异较大时,表明可能存在错误,此时对应样本的损失值将被动态降低,从而减少其对模型训练的影响。大量实验结果表明,DMT在图像分类与语义分割任务上均达到了当前最优的性能表现。相关代码已开源,地址为:https://github.com/voldemortX/DST-CBC。

代码仓库

voldemortX/DST-CBC
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-image-classification-on-cifarDMT (WRN-28-2)
Percentage error: 5.79
semi-supervised-semantic-segmentation-on-10DMT (DeepLab v2, ResNet-50)
Validation mIoU: 74.85
semi-supervised-semantic-segmentation-on-2DMT (DeepLab v2 MSCOCO/ImageNet pre-trained)
Validation mIoU: 63.03%
semi-supervised-semantic-segmentation-on-3DMT (DeepLab v2 MSCOCO/ImageNet pre-trained)
Validation mIoU: 54.80%
semi-supervised-semantic-segmentation-on-4DMT
Validation mIoU: 72.70%
semi-supervised-semantic-segmentation-on-5DMT (DeepLab v2 MSCOCO/ImageNet pre-trained)
Validation mIoU: 69.92%
semi-supervised-semantic-segmentation-on-6DMT (DeepLab v2 MSCOCO pre-trained)
Validation mIoU: 67.15%
semi-supervised-semantic-segmentation-on-7DMT (DeepLab v2 MSCOCO pre-trained)
Validation mIoU: 63.04%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DMT:用于半监督学习的动态互训机制 | 论文 | HyperAI超神经