4 个月前

使用多模态深度学习方法检测表情包中的仇恨言论:Hateful Memes 挑战赛的获奖解决方案

使用多模态深度学习方法检测表情包中的仇恨言论:Hateful Memes 挑战赛的获奖解决方案

摘要

互联网上的表情包通常无害且有时令人发笑。然而,通过使用某些类型的图像、文字或两者的组合,看似无害的表情包可能变成一种多模态的仇恨言论——即仇恨表情包。仇恨表情包挑战赛(Hateful Memes Challenge)是一项前所未有的竞赛,专注于检测多模态表情包中的仇恨言论,并提出了一种包含10,000多个新的多模态内容示例的新数据集。我们利用了VisualBERT——这是一种旨在成为视觉和语言领域的BERT模型——该模型在图像和标题上进行了多模态训练,并应用了集成学习方法。我们的方法在挑战赛测试集中达到了0.811的AUROC值,准确率为0.765,并在3,173名参赛者中排名第三。

代码仓库

基准测试

基准方法指标
meme-classification-on-hateful-memesHateDetectron27
Accuracy: 0.765
ROC-AUC: 0.811

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用多模态深度学习方法检测表情包中的仇恨言论:Hateful Memes 挑战赛的获奖解决方案 | 论文 | HyperAI超神经