摘要

文本预处理通常是自然语言处理（NLP）系统流水线中的第一步，对最终性能有潜在影响。尽管其重要性显而易见，但在深度学习文献中，文本预处理并未受到足够的关注。本文研究了简单的文本预处理决策（特别是分词、词形还原、小写转换和多词组合）对标准神经文本分类器性能的影响。我们在文本分类和情感分析的标准基准数据集上进行了广泛的评估。实验结果表明，输入文本的简单分词通常已足够，但也突显了不同预处理技术之间的显著差异。这揭示了在流水线中特别注意这一常被忽视的步骤的重要性，尤其是在比较不同模型时。最后，我们的评估为训练词嵌入的最佳预处理实践提供了见解。