HyperAIHyperAI

Command Palette

Search for a command to run...

基于上下文和属性的密集描述

Guojun Yin Lu Sheng Bin Liu Nenghai Yu Xiaogang Wang Jing Shao

摘要

密集标注旨在同时定位语义区域并用自然语言中的短语或句子描述这些感兴趣区域(ROIs)。先前的研究已经取得了显著进展,但它们通常容易受到孔径问题的影响,即由一个ROI内部特征生成的标注缺乏与输入图像周围上下文的情境连贯性。在本研究中,我们探讨了基于多尺度消息传播的上下文推理方法,从邻近内容向目标ROI传递信息。为此,我们设计了一种新颖的端到端上下文和属性支持的密集标注框架,该框架包括1)上下文视觉挖掘模块和2)多层次属性支持的描述生成模块。鉴于标注通常与语言属性(如“谁”、“什么”和“哪里”)共现,我们还引入了层次语言属性的辅助监督以增强所学标注的独特性。在Visual Genome数据集上进行的大量实验和消融研究表明,所提出的模型相比现有最先进方法具有明显优势。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于上下文和属性的密集描述 | 论文 | HyperAI超神经