摘要

在本文中，我们介绍了在AAAI 2021共享任务——英文新冠虚假新闻检测（COVID-19 Fake News Detection）中的参赛系统，该系统在测试集上取得了加权F1分数0.9859的优异成绩，位列第三。具体而言，我们提出了一种融合多种预训练语言模型（如BERT、RoBERTa、ERNIE等）的集成方法，并结合了多种训练策略，包括学习率预热（warm-up）、学习率调度（learning rate schedule）以及K折交叉验证（k-fold cross-validation）。此外，我们还对分类错误的样本进行了深入分析。相关代码已公开，地址为：https://github.com/archersama/3rd-solution-COVID19-Fake-News-Detection-in-English。