摘要

在本研究中，我们致力于解决指代分割这一具有挑战性的任务。指代分割中的查询表达通常通过描述目标对象与其他对象之间的关系来指示目标对象。因此，为了从图像中的所有实例中找到目标对象，模型必须对整个图像有一个整体的理解。为此，我们将指代分割重新表述为直接注意力问题：即在图像中找到最关注查询语言表达的区域。我们引入了变压器（Transformer）和多头注意力机制（Multi-Head Attention），构建了一个具有编码器-解码器注意力机制架构的网络，该网络能够用语言表达“查询”给定的图像。此外，我们提出了一种查询生成模块（Query Generation Module），该模块生成多个具有不同注意力权重的查询集，代表从不同角度对语言表达的多样化理解。同时，为了基于视觉线索从这些多样化的理解中找到最佳路径，我们进一步提出了一个查询平衡模块（Query Balance Module），以自适应地选择这些查询的输出特征，从而更好地生成掩膜。我们的方法简洁轻量，在三个指代分割数据集——RefCOCO、RefCOCO+ 和 G-Ref 上持续取得最新的最佳性能。我们的代码已发布在 https://github.com/henghuiding/Vision-Language-Transformer。