摘要

指代表达分割（Referring Expression Segmentation, RES）旨在为给定语言表达所描述的对象生成一个分割掩模。现有的经典RES数据集和方法通常仅支持单目标表达，即一个表达对应一个目标对象，而不考虑多目标和无目标表达。这限制了RES在实际应用中的使用范围。本文中，我们介绍了一种新的基准测试方法，称为广义指代表达分割（Generalized Referring Expression Segmentation, GRES），该方法扩展了经典的RES，允许表达指向任意数量的目标对象。为此，我们构建了首个大规模GRES数据集gRefCOCO，其中包含多目标、无目标和单目标表达。GRES和gRefCOCO设计为与RES高度兼容，便于进行广泛的实验以研究现有RES方法在GRES任务上的性能差距。在实验研究中，我们发现GRES的一个主要挑战是复杂关系建模。基于此，我们提出了一种基于区域的GRES基线模型ReLA，该模型自适应地将图像划分为具有子实例线索的区域，并显式地建模区域-区域和区域-语言依赖关系。所提出的ReLA方法在新提出的GRES任务和经典的RES任务上均取得了最新的最佳性能。所提出的gRefCOCO数据集和方法可在https://henghuiding.github.io/GRES获取。