摘要

迁移学习和多任务学习传统上主要关注单一的源-目标对或非常少数的相似任务。理想情况下，形态学、句法学和语义学这些语言层次应该通过在一个模型中进行训练而相互受益。我们提出了一种联合多任务模型，并引入了一种逐步增加其深度以解决日益复杂任务的策略。高层包括到低层任务预测的捷径连接，以反映语言层次结构。我们使用一个简单的正则化项来允许优化所有模型权重以改进某一任务的损失，而不会导致其他任务出现灾难性的干扰。我们的单一端到端模型在标记、解析、相关性和蕴含等五个不同任务上取得了最先进的或具有竞争力的结果。