摘要

我们发布了针对一类尚未充分探索的神经网络架构——具有块稀疏权重的网络——的高度优化GPU内核。这些内核可高效实现线性层（包括卷积层）的前向计算与梯度计算，并支持在权重矩阵中灵活配置块稀疏模式。实验表明，根据不同的稀疏程度，这些内核的运行速度可比当前最优的替代方案（如cuBLAS）快多个数量级。利用这些内核，我们在文本情感分析以及文本与图像的生成建模任务中取得了超越现有最先进水平的结果。通过开源发布这些内核，我们旨在推动模型架构与算法设计的进一步发展。