摘要

当前的新闻数据集主要关注新闻文本特征，很少利用图像特征，因而忽略了对新闻分类至关重要的大量信息。本文提出一个新数据集N24News，该数据集基于《纽约时报》构建，包含24个类别，每条新闻均同时包含文本与图像信息。我们采用多任务多模态方法进行实验，结果表明，相较于仅依赖文本的分类方法，多模态新闻分类在性能上显著更优，且根据文本长度的不同，分类准确率最高可提升8.11%。本研究揭示了多模态分类器与其子分类器之间的性能关联，并探讨了在新闻分类中应用多模态方法的潜在改进空间。实验结果表明，N24News具有推动多模态新闻研究的巨大潜力。