HyperAIHyperAI

Command Palette

Search for a command to run...

基于场景图嵌入的多样化且相关的视觉叙事

Bernt Schiele Vera Demberg Khushboo Mehra Asad Sayeed Rakshith Shetty Xudong Hong

摘要

在图像序列的自动生成故事任务中,一个关键问题在于生成的文本往往使用过于通用的词汇和句法结构,难以匹配人类撰写文本的分布特征。为解决这一问题,我们提出通过从图像中提取场景图(scene graphs),显式地表示物体及其相互关系。利用场景图的嵌入表示,我们的模型在生成故事时能够更明确地对物体及其关系进行推理,相较于以往方法中采用的物体分类器所提取的全局特征,具有更强的表达能力。我们引入了综合考量生成故事中词汇与短语多样性的评价指标,同时评估模型对叙事关键图像特征的引用能力。实验结果表明,我们的方法在各项指标上均优于先前系统。此外,实验还显示,我们的模型在基于参考文本的评价指标上也取得了具有竞争力的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于场景图嵌入的多样化且相关的视觉叙事 | 论文 | HyperAI超神经