摘要

由于深度神经网络包含大量参数和计算操作，将其部署在计算资源受限的设备上面临巨大挑战。尽管近年来涌现出多种面向资源高效模型的新剪枝方法，但研究已明确表明，这些方法在处理“数据不平衡”和“数据样本数量有限”的场景时表现不佳。为此，我们提出了一种新型滤波器剪枝方法，该方法综合考虑了滤波器的输入、输出及其自身权重值，能够更有效地应对数据不平衡问题。我们的剪枝策略基于一个重要观察：单凭滤波器权重值本身，并不能完全反映其重要性；真正体现滤波器重要性的，是其作用于输入数据后所引起的输出变化。在本研究中，我们在相同训练条件下，对比了三种不同排序策略的方法，并与来自其他论文的14种方法进行了系统性比较。实验结果表明，我们的方法在处理不平衡医学数据集时显著优于现有方法。例如，在IDRID数据集上，当剪枝导致计算量（FLOPs）减少高达58%时，模型性能仍可达到甚至超过基线模型；在ISIC数据集上，FLOPs减少达45%时，同样保持了优异的性能表现。为验证所提方法在真实场景中的有效性，我们开发了一款智能手机应用，实测结果显示，模型在内存占用方面最高降低79%，预测时间减少72%。所有用于训练不同模型的代码及参数均已开源，可访问 https://github.com/mohofar/Beta-Rank 获取。