摘要

神经网络剪枝是一种日益流行的构建紧凑高效模型的技术，适用于资源受限的环境，同时保持高性能。尽管传统的剪枝方法通常依赖于多轮训练与微调过程，但近年来的趋势是将稀疏化过程整合到标准训练流程中。为此，我们提出了 Feather——一种高效的稀疏训练模块，其核心基于强大的“直通估计器”（Straight-Through Estimator），并结合一种新型阈值化操作和梯度缩放技术，实现了无需额外调参即可稳定、开箱即用的稀疏化性能。在 CIFAR 数据集上，Feather 在多种网络架构上均展现出卓越的有效性与适应性；而在 ImageNet 数据集上，基于 ResNet-50 架构，Feather 实现了当前最先进的 Top-1 验证准确率，显著超越了现有各类方法，包括更为复杂且计算开销更高的方案。相关代码已公开，地址为：https://github.com/athglentis/feather。