Command Palette
Search for a command to run...
基于预训练 BERT 嵌入的胶囊神经网络在有毒评论分类中的有效性评估
基于预训练 BERT 嵌入的胶囊神经网络在有毒评论分类中的有效性评估
Tashin Ahmed Noor Hossain Nuri Sabab Habibur Rahman Sifat
摘要
自大型语言模型(Large Language Models, LLMs)问世以来,其在自然语言理解(Natural Language Understanding, NLU)与自然语言生成(Natural Language Generation, NLG)领域引发了广泛关注。相比之下,胶囊神经网络(Capsule Neural Networks, CapsNet)的研究成果却在这一热潮中逐渐被忽视。本项目旨在通过重新开启此前被搁置的研究工作,推动对CapsNet潜力的再探索,从而重燃学术界对其的关注。我们开展了一项研究,利用预训练的BERT嵌入(bert-base-uncased)在大规模多语言数据集上,将CapsNet应用于有毒文本分类任务。实验中,CapsNet被用于识别和分类有毒文本内容。通过与DistilBERT、普通神经网络(Vanilla Neural Networks, VNN)以及卷积神经网络(Convolutional Neural Networks, CNN)等主流架构进行性能对比,本研究取得了90.44%的分类准确率。该结果充分展示了CapsNet在文本数据处理方面的优势,并为后续提升其性能提供了新思路,使其有望达到DistilBERT等轻量化模型的水平。