4 个月前

使深度神经网络对标签噪声鲁棒：一种损失校正方法

Giorgio Patrini; Alessandro Rozza; Aditya Menon; Richard Nock; Lizhen Qu

摘要

我们提出了一种理论基础扎实的方法，用于在类别依赖标签噪声条件下训练深度神经网络，包括循环网络。我们提出了两种损失校正程序，这些程序对应用领域和网络架构均具有普适性。只要我们知道每个类别的标签被错误标记为其他类别的概率，这些程序最多只需进行矩阵求逆和乘法操作即可实现。此外，我们展示了如何估计这些概率，通过将最近的一种噪声估计技术扩展到多类别设置中，从而提供了一个端到端的框架。我们在MNIST、IMDB、CIFAR-10、CIFAR-100以及一个大规模的服装图像数据集上进行了广泛的实验，采用了多种架构——包括全连接层、卷积层、池化层、Dropout层、批归一化层、词嵌入层、LSTM层和残差层——证明了我们方法对噪声的鲁棒性。顺便提一下，我们还证明了当ReLU是唯一的非线性激活函数时，损失曲面对类别依赖标签噪声具有免疫性。

代码仓库

yikun2019/PENCIL

pytorch

GitHub 中提及

giorgiop/loss-correction

官方

GitHub 中提及

基准测试

基准	方法	指标
image-classification-on-clothing1m-using	Forward	Accuracy: 80.27
image-classification-on-mini-webvision-1-0	F-Correction (Inception-ResNet-v2)	ImageNet Top-1 Accuracy: 57.36 ImageNet Top-5 Accuracy: 82.36 Top-1 Accuracy: 61.12 Top-5 Accuracy: 82.68
learning-with-noisy-labels-on-cifar-100n	Backward-T	Accuracy (mean): 57.14
learning-with-noisy-labels-on-cifar-100n	Forward-T	Accuracy (mean): 57.01
learning-with-noisy-labels-on-cifar-10n	Forward-T	Accuracy (mean): 88.24
learning-with-noisy-labels-on-cifar-10n	Backward-T	Accuracy (mean): 88.13
learning-with-noisy-labels-on-cifar-10n-1	Backward-T	Accuracy (mean): 87.14
learning-with-noisy-labels-on-cifar-10n-1	Forward-T	Accuracy (mean): 86.88
learning-with-noisy-labels-on-cifar-10n-2	Backward-T	Accuracy (mean): 86.28
learning-with-noisy-labels-on-cifar-10n-2	Forward-T	Accuracy (mean): 86.14
learning-with-noisy-labels-on-cifar-10n-3	Backward-T	Accuracy (mean): 86.86
learning-with-noisy-labels-on-cifar-10n-3	Forward-T	Accuracy (mean): 87.04
learning-with-noisy-labels-on-cifar-10n-worst	Forward-T	Accuracy (mean): 79.79
learning-with-noisy-labels-on-cifar-10n-worst	Backward-T	Accuracy (mean): 77.61

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程

即用型 GPU

最优价格

立即开始

Hyper Newsletters

订阅我们的最新资讯

我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新

邮件发送服务由 MailChimp 提供