摘要
我们展示了在何种条件下，针对分类器预测结果与监督标签之间最大化一个恰当定义的 $f$-散度度量，能够对标签噪声保持鲁棒性。借助其变分形式，我们推导出在存在标签噪声时，一类 $f$-散度度量所具有的优美解耦性质：该散度可表示为在干净数据分布上定义的变分差分与一个由噪声引入的偏置项的线性组合。上述推导有助于我们分析不同 $f$-散度函数的鲁棒性。在确立其鲁棒性基础上，这一类 $f$-散度度量可作为处理标签噪声学习问题的有力度量工具，且无需事先知晓标签噪声率。当某些散度函数可能不具备鲁棒性时，我们进一步提出了相应的修正方法以使其具备鲁棒性。除理论分析外，本文还提供了全面的实验验证。相关代码已开源，地址为：https://github.com/UCSC-REAL/Robust-f-divergence-measures。
代码仓库
weijiaheng/Multi-class-Peer-Loss-functions
pytorch
GitHub 中提及
weijiaheng/Robust-f-divergence-measures
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-clothing1m | Robust f-divergence | Accuracy: 73.09% |
| learning-with-noisy-labels-on-cifar-100n | F-div | Accuracy (mean): 57.10 |
| learning-with-noisy-labels-on-cifar-10n | F-div | Accuracy (mean): 91.64 |
| learning-with-noisy-labels-on-cifar-10n-1 | F-div | Accuracy (mean): 89.70 |
| learning-with-noisy-labels-on-cifar-10n-2 | F-div | Accuracy (mean): 89.79 |
| learning-with-noisy-labels-on-cifar-10n-3 | F-div | Accuracy (mean): 89.55 |
| learning-with-noisy-labels-on-cifar-10n-worst | F-div | Accuracy (mean): 82.53 |