摘要

人类每天阅读和撰写数百亿条消息。随着大规模数据集、强大计算系统以及更先进的神经网络模型的出现，自然语言处理（NLP）技术在理解、校对和组织这些消息方面取得了显著进展。因此，将NLP技术广泛应用于各类场景，以助力网络用户、社交平台及企业，具有巨大潜力。特别是，我们认为智能手机及其他移动设备是实现NLP模型大规模部署的关键平台。然而，当前高精度的NLP神经网络模型（如BERT和RoBERTa）计算开销极为庞大——例如，BERT-base在Pixel 3智能手机上处理一段文本分类任务需要1.7秒。在本研究中，我们观察到，分组卷积（grouped convolutions）等技术已在计算机视觉领域带来显著的加速效果，但这些方法尚未被广泛应用于NLP神经网络设计中。我们提出一种新方法，将自注意力（self-attention）层中的若干操作替换为分组卷积，并基于此构建了一种新型网络架构——SqueezeBERT。该模型在Pixel 3设备上的运行速度比BERT-base快4.3倍，同时在GLUE测试集上仍保持具有竞争力的准确率。SqueezeBERT的代码将公开发布。