摘要

现代深度神经网络在包含错误标签或类别不平衡的有偏训练数据上极易发生过拟合。样本重加权方法被广泛用于缓解此类数据偏差问题。然而，当前大多数方法需要人工预先设定权重方案及其额外的超参数，而这些参数往往依赖于具体问题特征和训练数据的性质，导致其在实际应用中难以通用，主要受限于方法本身的复杂性以及不同类别间数据偏差情况的显著差异。为解决这一问题，本文提出一种元模型，能够直接从数据中自适应地学习显式的权重分配方案。具体而言，将每个训练类别视为一个独立的学习任务，本方法旨在构建一个显式的加权函数，以样本损失和任务/类别特征作为输入，输出为样本权重，从而根据各类样本自身固有的偏差特性，自适应地施加差异化的权重策略。在合成数据与真实数据上的实验结果验证了该方法在多种数据偏差场景下的有效性，包括类别不平衡、与特征无关及相关的标签噪声情形，以及传统案例之外更为复杂的偏差情况。此外，实验还证实了所学习权重方案具备良好的任务可迁移性：仅需将基于较小规模CIFAR-10数据集学习得到的加权函数直接应用于大规模的WebVision全集，即可在无需额外超参数调优或元梯度下降步骤的情况下，显著超越现有最先进（SOTA）方法的性能表现。同时，本方法在多个鲁棒深度学习任务中的广泛适用性也得到验证，涵盖部分标签学习、半监督学习与选择性分类等关键问题。