4 个月前

主动学习中的学习损失

主动学习中的学习损失

摘要

深度神经网络的性能随着更多标注数据的增加而提升。然而,标注预算有限是一个问题。一种解决方法是主动学习,即模型请求人类对它认为不确定的数据进行标注。近年来,提出了多种将主动学习应用于深度网络的方法,但大多数方法要么针对特定任务设计,要么在大型网络上计算效率低下。本文提出了一种新颖的主动学习方法,该方法简单且与任务无关,并能高效地与深度网络配合工作。我们为目标网络附加了一个小型参数模块,称为“损失预测模块”,并训练该模块预测未标记输入的目标损失。随后,该模块可以建议目标模型可能产生错误预测的数据。由于网络仅从单一损失中学习而不考虑目标任务,因此该方法与任务无关。我们通过图像分类、物体检测和人体姿态估计等任务,并使用最新的网络架构对我们的方法进行了严格验证。结果表明,我们的方法在这几项任务中始终优于先前的方法。

基准测试

基准方法指标
active-learning-on-cifar10-10000Learning loss
Accuracy: 91.01

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
主动学习中的学习损失 | 论文 | HyperAI超神经