4 个月前

使用开源文本嵌入检测德语在线报纸评论中的性别歧视(GDA团队,GermEval2024共享任务1:GerMS-Detect,子任务1和2,封闭赛道)

使用开源文本嵌入检测德语在线报纸评论中的性别歧视(GDA团队,GermEval2024共享任务1:GerMS-Detect,子任务1和2,封闭赛道)

摘要

在线媒体评论中的性别歧视是一个普遍存在的挑战,通常以微妙的方式表现出来,这使得管理工作变得复杂,因为不同个体对何为性别歧视的解读可能存在差异。我们研究了单语和多语种的开源文本嵌入模型,旨在可靠地检测奥地利一家报纸德语在线评论中的性别歧视和厌女症。我们观察到,基于文本嵌入训练的分类器能够密切模仿人类标注者的个人判断。我们的方法在 GermEval 2024 GerMS-Detect 子任务 1 挑战中表现出稳健的性能,平均宏 F1 分数达到 0.597(排名第 4,根据 Codabench 报告)。在 GerMS-Detect 子任务 2 中,该方法也准确预测了人类标注的分布情况,平均 Jensen-Shannon 距离为 0.301(排名第 2)。我们方法的计算效率表明其具有跨多种语言和语言环境的大规模应用潜力。

代码仓库

基准测试

基准方法指标
germeval2024-shared-task-1-subtask-1-on-germsmE5-large-SVM
Macro F1: 0.597
germeval2024-shared-task-1-subtask-2-on-germsGBERT-large-SVM
Jensen-Shannon distance: 0.301

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用开源文本嵌入检测德语在线报纸评论中的性别歧视(GDA团队,GermEval2024共享任务1:GerMS-Detect,子任务1和2,封闭赛道) | 论文 | HyperAI超神经