摘要

大规模语言模型（如BERT）在众多自然语言处理（NLP）任务中已达到当前最优性能。然而，近期研究表明，基于BERT的模型在面对文本对抗攻击时表现出显著的脆弱性。为此，本文从信息论的角度出发，提出了一种名为InfoBERT的新颖学习框架，用于实现预训练语言模型的鲁棒微调。InfoBERT在模型训练中引入了两个基于互信息的正则化项：（i）信息瓶颈正则化项，用于抑制输入与特征表示之间的噪声互信息；（ii）鲁棒特征正则化项，用于增强局部鲁棒特征与全局特征之间的互信息。该方法为在标准训练与对抗训练场景下，系统性地分析和提升语言模型表示学习的鲁棒性提供了理论依据。大量实验结果表明，InfoBERT在自然语言推理（NLI）与问答（QA）任务的多个对抗性数据集上，均实现了当前最优的鲁棒准确率。相关代码已开源，地址为：https://github.com/AI-secure/InfoBERT。