摘要

本文研究了双向LSTM网络在文本分类任务中的应用，采用了监督学习和半监督学习两种方法。先前的一些研究表明，要实现高分类准确性，要么需要使用无监督方法（如语言模型）进行复杂的预训练（Dai和Le 2015；Miyato、Dai和Goodfellow 2016），要么需要构建复杂的模型（Johnson和Zhang 2017）。然而，我们开发了一种训练策略，使得即使是一个简单的双向LSTM模型，在使用交叉熵损失函数进行训练时也能取得与更复杂方法相当的结果。此外，除了交叉熵损失之外，通过结合熵最小化、对抗性和虚拟对抗性损失对有标签和无标签数据进行训练，我们在多个基准数据集上报告了文本分类任务的最新结果。特别是在ACL-IMDB情感分析和AG-News主题分类数据集上，我们的方法显著优于当前的方法。我们还展示了混合目标函数的通用性，通过改进关系抽取任务的性能进一步验证了这一点。