摘要
激活函数在模型优化中发挥着关键作用，然而最佳选择仍不明确。例如，Sigmoid 激活函数在平衡分类任务中是事实上的标准激活函数，但在不平衡分类任务中却显得不合适，因为它倾向于频繁出现的类别。在这项研究中，我们通过对比平衡网络和不平衡网络的分类层和中间层进行全面的统计分析，深入探讨了这一现象，并实证表明将激活函数与数据分布对齐可以提升在平衡和不平衡任务中的性能。为此，我们提出了一种新的自适应参数化激活（Adaptive Parametric Activation, APA）函数，该函数将大多数常见的激活函数统一在一个公式下。APA 函数既适用于中间层也适用于注意力层，在多个不平衡基准测试（如 ImageNet-LT、iNaturalist2018、Places-LT、CIFAR100-LT 和 LVIS）以及平衡基准测试（如 ImageNet1K、COCO 和 V3DET）上显著优于现有最先进方法。代码可在 https://github.com/kostas1515/AGLU 获取。
代码仓库
kostas1515/aglu
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| instance-segmentation-on-lvis-v1-0-val | SE-R50-FPN-MaskRCNN-APA | mask AP: 29.1 mask APr: 21.6 |
| instance-segmentation-on-lvis-v1-0-val | SE-R101-FPN-MaskRCNN-APA | mask AP: 30.7 mask APr: 23.6 |
| long-tail-learning-on-imagenet-lt | APA (SE-ResNet-50) | Top-1 Accuracy: 57.9 |
| long-tail-learning-on-imagenet-lt | APA (SE-ResNext-50) | Top-1 Accuracy: 59.1 |
| long-tail-learning-on-inaturalist-2018 | APA (SE-ResNet-50) | Top-1 Accuracy: 74.8 |
| long-tail-learning-on-places-lt | APA (SE-ResNet-50) | Top-1 Accuracy: 42.0 |