摘要

微调神经网络被广泛用于将宝贵的知识从高资源领域转移到低资源领域。在标准的微调方案中，源问题和目标问题使用相同的架构进行训练。尽管预训练单元能够适应新领域，但在学习目标特定的不常见模式时仍面临挑战。本文提出了一种增强目标网络的方法，即通过添加归一化、加权且随机初始化的单元来实现更好的适应性，同时保留宝贵的源知识。我们在社交媒体文本（推特领域）的词性标注实验中证明，该方法在3个常用的基准数据集上达到了最先进的性能。