摘要

多任务学习（Multi-task Learning, MTL）是一种高效的学习相关任务的方法，但设计MTL模型时，需决定哪些参数应为任务特定（task-specific），哪些应跨任务共享。针对命名实体识别（Named Entity Recognition, NER）与关系抽取（Relation Extraction, RE）的联合学习问题，本文深入探讨了这一关键问题，并提出一种新型神经网络架构，其任务特定性程度显著高于以往工作。具体而言，我们在NER和RE任务中均引入了额外的任务特定双向循环神经网络（bidirectional RNN）层，并针对不同数据集分别优化共享层与任务特定层的数量。在ADE数据集上，我们取得了两项任务的当前最优（State-of-the-Art, SOTA）性能；在CoNLL04数据集上，NER任务达到SOTA水平，关系抽取任务也取得了具有竞争力的结果，同时所用可训练参数量仅为当前最优架构的十分之一量级。消融实验进一步验证了额外任务特定层对实现优异性能的关键作用。本研究表明，以往联合NER与RE的解决方案普遍低估了任务特定性的重要性，并强调在多任务学习中，正确平衡共享参数与任务特定参数的数量具有普遍意义。