摘要

当前自然语言处理中的前沿模型依赖于独立且固定的子词分词算法，这类方法限制了模型的泛化能力以及在新场景下的适应性。本文提出一种新型模型归纳偏置，能够以端到端的方式学习子词分词过程。为此，我们引入了一种基于软梯度的子词分词模块（Gradient-Based Subword Tokenization, GBST），该模块可从字符层面以数据驱动的方式自动学习潜在的子词表示。具体而言，GBST 枚举候选子词块，并通过一个块评分网络以逐位置的方式学习对这些块进行评分。此外，我们提出了 Charformer，一种集成 GBST 模块的深层 Transformer 模型，其在字节（byte）层面进行操作。在英文 GLUE、多语言以及噪声文本数据集上的大量实验表明，Charformer 在性能上超越了一系列具有竞争力的字节级基线模型，且在大多数情况下与基于子词的模型表现相当，甚至更优。同时，Charformer 具有显著的计算效率优势，相较于标准的字节级与子词级 Transformer 模型，推理速度提升达 28% 至 100%，同时保持了优异的性能表现。我们认为，本工作为实现完全端到端训练、无需显式分词步骤的高性能模型开辟了新路径。