摘要

在深度学习中，优化算法起着至关重要的作用。本文以图像分类任务为研究对象，系统分析了当前广泛使用的优化器的优缺点，并提出了一种新型优化算法——扰动单位梯度下降法（Perturbated Unit Gradient Descent, PUGD）。该算法在扰动框架内引入了张量空间中的归一化梯度操作，实现于单位空间内的参数更新。通过一系列实验与深入分析，我们证明PUGD具有局部有界更新特性，即参数更新过程受到有效控制，避免了过大或不稳定的更新步长。同时，PUGD能够引导模型收敛至平坦的极小值区域，在该区域模型误差近似保持恒定。这一优势不仅源于梯度归一化机制对驻点的天然规避能力，还得益于其在单位球内对损失函数曲率（sharpness）的主动探测与扫描。经过一系列严谨的实验验证，PUGD在Tiny ImageNet数据集上实现了当前最先进的Top-1分类准确率，并在CIFAR-10和CIFAR-100数据集上取得了具有竞争力的性能表现。相关代码已开源，欢迎访问：https://github.com/hanktseng131415go/PUGD。