摘要

许多深度学习架构已被提出用于建模文本序列中的组合性，这些模型需要大量的参数和昂贵的计算资源。然而，对于复杂组合函数的实际价值，尚未进行严格的评估。在本文中，我们对基于简单词嵌入的模型（SWEMs）与基于词嵌入的递归神经网络（RNN）/卷积神经网络（CNN）模型进行了逐点比较研究。SWEMs由无参数池化操作组成，令人惊讶的是，在大多数情况下，SWEMs表现出与后者相当甚至更优的性能。基于这一认识，我们提出了两种额外的池化策略来处理学习到的词嵌入：(i) 最大池化操作，以提高可解释性；(ii) 层次池化操作，该操作保留了文本序列中的空间（n-gram）信息。我们在涵盖三个任务的17个数据集上进行了实验：(i) （长）文档分类；(ii) 文本序列匹配；(iii) 短文本任务，包括分类和标注。源代码和数据集可以从 https://github.com/dinghanshen/SWEM 获取。