3 个月前

Dash:基于动态阈值的半监督学习

Dash:基于动态阈值的半监督学习

摘要

尽管半监督学习(Semi-Supervised Learning, SSL)因其在利用未标记数据方面的成功而在众多机器学习任务中受到广泛关注,但现有的SSL算法在训练过程中通常要么使用全部未标记样本,要么仅采用具有固定高置信度预测结果的未标记样本。然而,这种策略可能导致过多正确的或错误的伪标签样本被错误地剔除或保留。针对这一问题,本文提出了一种简单而强大的新框架——Dash。其核心思想是在应用现有SSL方法时,从未标记数据中动态选择一个子集进行训练,从而仅保留那些其伪标签与已标记数据相关联的未标记样本用于模型训练。该选择过程在每次参数更新迭代中执行,仅保留损失值低于动态调整阈值的样本。所提出的Dash方法在未标记数据选择方面展现出良好的自适应性,并具备理论保障。具体而言,本文从非凸优化的角度理论推导了Dash方法的收敛速率。最后,我们在多个基准数据集上通过实验验证了该方法相较于当前最先进方法的优越性能,充分证明了其有效性。

基准测试

基准方法指标
semi-supervised-image-classification-on-cifarDash (RA, ours)
Percentage error: 4.08±0.06
semi-supervised-image-classification-on-cifar-2Dash (RA, WRN-28-8)
Percentage error: 21.97±0.14
semi-supervised-image-classification-on-cifar-6Dash (RA)
Percentage error: 4.56±0.13
semi-supervised-image-classification-on-cifar-8Dash (CTA, WRN-28-8)
Percentage error: 44.83±1.36
semi-supervised-image-classification-on-cifar-8Dash (RA, WRN-28-8)
Percentage error: 44.76±0.96
semi-supervised-image-classification-on-cifar-9Dash (RA, WRN-28-8)
Percentage error: 27.18±0.21

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Dash:基于动态阈值的半监督学习 | 论文 | HyperAI超神经