摘要

稀疏性是一种在广泛的应用中，特别是在神经网络中非常有用的正则化方法。本文提出了一种针对分类任务的模型，通过稀疏活动和稀疏连接来增强分类能力。实现这一目标的工具是一种稀疏性强制投影算子，该算子可以为任意给定的向量找到与其最接近且具有预定义稀疏性的向量。在本文的理论部分，对这种投影算子进行了全面的理论分析。结论表明，该投影算子几乎处处可微，因此可以作为平滑的神经元传递函数实现。整个模型因此可以通过基于梯度的方法进行端到端的调优。在手写数字数据库MNIST上的实验结果显示，通过稀疏活动或稀疏连接可以提升分类性能。当两者结合使用时，性能相比传统的非稀疏方法有显著提高。