摘要

近期的研究表明，神经网络在多个不同的序列标注任务中取得了最先进的性能。这类系统的一个吸引人的特性是其通用性，即可以通过统一的架构实现卓越的性能，而无需进行特定任务的特征工程。然而，尚不清楚这些系统是否能够在缺乏大量训练数据的任务中使用。本文探讨了神经序列标注器的迁移学习问题，其中源任务拥有丰富的注释（例如，在宾夕法尼亚树库上的词性标注）被用于提高目标任务的性能，而目标任务的可用注释较少（例如，微博上的词性标注）。我们研究了跨域、跨应用和跨语言的深度层次递归网络迁移学习的效果，并展示了通常可以取得显著的改进。这些改进使得在几个经过深入研究的任务上超越当前最先进水平成为可能。