摘要
近年来，大型预训练神经网络模型（如BERT和ELECTRA）所学习的语言表示的可用性，已经促进了许多下游自然语言处理任务的改进。预训练模型通常在预训练目标、架构和训练数据集方面存在差异，这些差异可能会影响下游任务的表现。在这项研究中，我们对德语版BERT和德语版ELECTRA模型进行了微调，以识别由GermEval 2021竞赛提供的Facebook数据中的有毒评论（子任务1）、引人入胜的评论（子任务2）和事实声明评论（子任务3）。我们创建了这些模型的集成，并调查了分类性能是否以及如何依赖于集成成员的数量及其组成。在样本外数据上，我们的最佳集成模型达到了0.73的宏F1分数（针对所有子任务），并且分别在子任务1、2和3上取得了0.72、0.70和0.76的F1分数。
代码仓库
dslaborg/germeval2021
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| toxic-comment-classification-on-germeval-2021-1 | GBERT/GELECTRA Ensemble | F1: 71.8 |