摘要

本文提出了一种简单而有效的可证明方法（命名为ABSGD），用于解决深度学习中的数据不平衡或标签噪声问题。该方法对动量随机梯度下降（momentum SGD）进行了简单改进，为每个小批量（mini-batch）中的样本分配一个独立的重要性权重。样本的个体级权重与该样本损失值的缩放指数成正比，其中缩放因子在分布鲁棒优化（Distributionally Robust Optimization, DRO）框架下可解释为正则化参数。根据该缩放因子的正负性，ABSGD能够分别保证收敛至一个信息正则化下的极小-极大（min-max）或极小-极小（min-min）DRO问题的驻点。相较于现有的基于类别级别的加权方法，本方法能够捕捉同一类别内部样本间的差异性；相较于现有基于元学习的个体级加权方法（此类方法需进行三次反向传播以计算小批量随机梯度），ABSGD仅需在每次迭代中进行一次反向传播，效率更高，与标准深度学习方法保持一致。此外，ABSGD具有良好的灵活性，可无缝结合其他鲁棒损失函数，且无需引入额外计算成本。在多个基准数据集上的实验结果充分验证了所提方法的有效性。\footnote{代码已开源：\url{https://github.com/qiqi-helloworld/ABSGD/}}