摘要

隐喻、明喻和习语等修辞手法是人类交流中不可或缺的组成部分。它们广泛存在于各类话语形式之中，使人们能够传达复杂抽象的思想并激发情感。由于修辞表达通常通过多种模态（例如文字与图像）共同呈现，因此理解多模态修辞语言成为人工智能领域的一项重要挑战，它需要融合深度的视觉理解、语言处理、常识推理以及文化知识。在本研究中，我们构建了“图像中的修辞语言识别”（Image Recognition of Figurative Language, IRFL）数据集。通过结合人工标注与我们自主设计的自动化数据生成流程，我们创建了一个多模态数据集，并提出了两项新的基准任务，以推动多模态修辞语言理解的研究。我们对当前最先进的视觉-语言模型进行了实验，结果发现表现最佳的模型仅达到22%的准确率，远低于人类水平（97%）。我们已公开发布该数据集、基准测试方案及全部代码，旨在促进能够更深入理解修辞语言的模型发展。