摘要

我们对COVID-Twitter-BERT和RoBERTa模型进行了实验，以识别具有信息量的新冠疫情推文。为进一步提升模型的鲁棒性，我们还尝试了对抗性训练。在WNUT-2020任务2的测试数据集上，基于COVID-Twitter-BERT与RoBERTa的集成模型在正类上的F1分数达到0.9096，位居排行榜首位。采用对抗性训练方法训练的模型集成同样取得了相近的优异结果。