摘要

图像描述（Image Captioning）是一项复杂的任务，旨在生成语法正确、语义准确且与图像内容相关的自然语言文本描述。现有的孟加拉语图像描述（Bengali Image Captioning, BIC）研究多基于编码器-解码器架构。本文提出了一种端到端的图像描述系统，采用多模态架构，结合一维卷积神经网络（1D-CNN）以捕捉序列信息，并利用预训练的ResNet-50模型作为图像编码器，提取基于区域的视觉特征。我们在BanglaLekhaImageCaptions数据集上评估了所提方法的性能，采用现有的评价指标进行定量分析，并辅以人工评估以开展定性分析。实验结果表明，所提出的语言编码器能够有效捕捉描述中的细粒度语义信息，结合视觉特征后，生成的描述不仅准确，且具有较高的多样性。本研究在所有现有BIC方法中表现最优，达到了新的最先进（State-of-the-Art, SOTA）水平，各项指标分别为：BLUE-1 0.651、CIDEr 0.572、METEOR 0.297、ROUGE 0.434 和 SPICE 0.357。