摘要

大规模预训练语言模型在众多自然语言理解（NLU）任务中取得了巨大成功，甚至在某些任务上超越了人类表现。然而，近期研究表明，这些模型的鲁棒性可能受到精心构造的文本对抗样本的挑战。尽管已有若干独立的对抗数据集被提出用于评估模型鲁棒性，但目前仍缺乏一个系统化且全面的基准测试平台。本文提出Adversarial GLUE（简称AdvGLUE），这是一个全新的多任务基准，旨在定量且全面地探究和评估现代大规模语言模型在各类对抗攻击下的脆弱性。具体而言，我们系统性地将14种文本对抗攻击方法应用于GLUE任务，构建了AdvGLUE基准，并通过人工标注进行可靠性验证。我们的主要发现如下：（i）现有大多数对抗攻击算法容易生成无效或语义模糊的对抗样本，约90%的样本不仅改变了原始语义，还对人类标注者造成了误导。为此，我们实施了严格的筛选流程，以构建高质量的对抗基准数据集。（ii）我们测试的所有语言模型及鲁棒训练方法在AdvGLUE上的表现均显著不佳，其性能远低于在正常样本上的准确率。我们期望本工作能推动新型对抗攻击方法的发展，这些方法应具备更强的隐蔽性与语义保真性；同时，也促使研究者开发更具抗对抗能力的新型语言模型，以应对日益复杂的对抗攻击。AdvGLUE数据集现已开放获取，访问地址为：https://adversarialglue.github.io。