HyperAIHyperAI

Command Palette

Search for a command to run...

更多关注显著性:结合显著性和上下文注意力的图像描述生成

MARCELLA CORNIA LORENZO BARALDI GIUSEPPE SERRA RITA CUCCHIARA

摘要

图像描述任务近期受到了广泛关注,这得益于深度描述架构所取得的令人印象深刻的成就,这些架构结合了卷积神经网络(Convolutional Neural Networks)用于提取图像表示,以及循环神经网络(Recurrent Neural Networks)用于生成相应的描述。与此同时,大量研究致力于开发显著性预测模型,这些模型可以预测人类的注视点。尽管显著性信息对于调节图像描述架构非常有用,因为它可以提供关于哪些部分是显著的、哪些部分不是显著的信息,但将这两种技术结合起来的研究仍然面临挑战。在本工作中,我们提出了一种图像描述方法,该方法利用显著性预测模型提供的条件信息,使生成式循环神经网络在生成描述时能够关注输入图像的不同部分。通过在大规模数据集上进行广泛的定量和定性实验,我们展示了我们的模型在有无显著性信息的情况下均优于基准图像描述模型,并且在结合显著性和描述的不同最先进方法中也表现出色。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
更多关注显著性:结合显著性和上下文注意力的图像描述生成 | 论文 | HyperAI超神经