4 个月前

用于文本分类的深度压缩卷积神经网络

用于文本分类的深度压缩卷积神经网络

摘要

大多数卷积神经网络的研究都集中在通过增加网络深度来提高准确性,这导致了参数数量的大幅增加,从而限制了训练好的网络在具有内存和处理限制的平台上的应用。本文提出对非常深的卷积神经网络(VDCNN)模型的结构进行修改,以适应移动平台的约束条件并保持性能。我们评估了时间深度可分离卷积(Temporal Depthwise Separable Convolutions)和全局平均池化(Global Average Pooling)对网络参数、存储大小和延迟的影响。压缩后的模型(SVDCNN)根据网络深度的不同,其体积缩小了10到20倍,最大体积不超过6MB。在准确性方面,该网络相比基线模型损失了0.4%到1.3%,但获得了更低的延迟。

代码仓库

基准测试

基准方法指标
sentiment-analysis-on-yelp-binarySVDCNN
Error: 4.74
sentiment-analysis-on-yelp-fine-grainedSVDCNN
Error: 46.80
text-classification-on-ag-newsSVDCNN
Error: 9.45

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于文本分类的深度压缩卷积神经网络 | 论文 | HyperAI超神经