摘要
一热卷积神经网络（One-hot CNN）已被证明在文本分类任务中具有有效性（Johnson & Zhang, 2015）。我们将其视为一个通用框架的特例，该框架联合训练了一个线性模型和一个由“文本区域嵌入 + 池化”组成的非线性特征生成器。在此框架下，我们探索了一种更为复杂的区域嵌入方法，即使用长短期记忆网络（Long Short-Term Memory, LSTM）。LSTM 可以嵌入可变（且可能较大）尺寸的文本区域，而卷积神经网络（CNN）则需要固定区域尺寸。我们在有监督和半监督设置下寻求 LSTM 在此目的上的有效且高效的使用方法。最佳结果是通过结合 LSTM 形式的区域嵌入和在未标记数据上训练的卷积层获得的。实验结果表明，在这一任务中，能够传达复杂概念的文本区域嵌入比孤立的单个词嵌入更有用。我们在四个基准数据集上报告了超过以往最佳结果的性能表现。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| sentiment-analysis-on-imdb | oh-LSTM | Accuracy: 94.1 |
| sentiment-analysis-on-yelp-binary | CNN | Error: 2.9 |
| sentiment-analysis-on-yelp-fine-grained | CNN | Error: 32.39 |
| text-classification-on-ag-news | CNN | Error: 6.57 |
| text-classification-on-dbpedia | CNN | Error: 0.84 |
| text-classification-on-rcv1 | oh-CNN + two LSTM tv-embed. | Accuracy: 92.85 |