摘要

分词（Tokenization）是众多自然语言处理（NLP）任务中的第一步，在神经网络NLP模型中发挥着关键作用。诸如字节对编码（Byte-Pair Encoding, BPE）等分词方法能够显著缩减词汇表规模，并有效处理未登录词（out-of-vocabulary words），因此在序列生成任务中被广泛采用且表现优异。尽管存在多种分词方法，目前尚无统一共识认为哪一种方法最优。在本研究中，我们提出利用不同分词方法所产生的混合表示来提升序列生成任务的性能，旨在融合各类分词方法所具备的独特优势与特性，以增强模型表现。具体而言，我们设计了一种新型模型架构以整合多源分词表示，并引入一种协同教学（co-teaching）算法，以更有效地利用不同分词方法之间的多样性。实验结果表明，该方法在六组语言对（如英语↔德语、英语↔罗马尼亚语）的神经机器翻译（Neural Machine Translation, NMT）任务以及抽象摘要生成任务中均取得了显著的性能提升。