HyperAIHyperAI

Command Palette

Search for a command to run...

GRES:广义指代表达分割

Chang Liu Henghui Ding Xudong Jiang

摘要

指代表达分割(Referring Expression Segmentation, RES)旨在为给定语言表达所描述的对象生成一个分割掩模。现有的经典RES数据集和方法通常仅支持单目标表达,即一个表达对应一个目标对象,而不考虑多目标和无目标表达。这限制了RES在实际应用中的使用范围。本文中,我们介绍了一种新的基准测试方法,称为广义指代表达分割(Generalized Referring Expression Segmentation, GRES),该方法扩展了经典的RES,允许表达指向任意数量的目标对象。为此,我们构建了首个大规模GRES数据集gRefCOCO,其中包含多目标、无目标和单目标表达。GRES和gRefCOCO设计为与RES高度兼容,便于进行广泛的实验以研究现有RES方法在GRES任务上的性能差距。在实验研究中,我们发现GRES的一个主要挑战是复杂关系建模。基于此,我们提出了一种基于区域的GRES基线模型ReLA,该模型自适应地将图像划分为具有子实例线索的区域,并显式地建模区域-区域和区域-语言依赖关系。所提出的ReLA方法在新提出的GRES任务和经典的RES任务上均取得了最新的最佳性能。所提出的gRefCOCO数据集和方法可在https://henghuiding.github.io/GRES获取


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
GRES:广义指代表达分割 | 论文 | HyperAI超神经