摘要

Transformer模型在文本分类任务中已得到广泛应用。然而，现实世界的数据往往包含异常样本和噪声标签，这给当前最先进的Transformer模型带来了严峻挑战。本文提出了一种名为Protoformer的新颖自学习框架，该框架能够有效利用存在缺陷的样本进行文本分类。Protoformer具备一种嵌入样本的选择机制，可高效地提取并利用异常样本原型和难分类类别原型。我们在具有多样化文本结构的数据集（如Twitter、IMDB、ArXiv）上验证了该方法的有效性，并将其应用于多种模型。实验结果表明，Protoformer能够在多种实际场景中显著提升现有Transformer模型的性能。