摘要

联合目标检测和语义分割可以应用于许多领域，如自动驾驶汽车和无人水面舰艇。通过简单地共享用于这两个任务的深度卷积特征，已经取得了初步且重要的进展。然而，这种简单的方案无法充分利用目标检测和语义分割之间相互促进的特点。为了解决这一问题，我们提出了一种称为TripleNet的框架，在解码器网络的每一层施加三种监督，包括面向检测的监督、类别感知的语义分割监督以及类别无关的语义分割监督。类别无关的语义分割监督为语义分割和目标检测提供了对象性的先验知识。除了这三种监督外，每个解码器层还集成了两个轻量级模块（即内部连接模块和注意力跳跃层融合）。在所提出的框架中，目标检测和语义分割可以充分互相增强。此外，在测试阶段，每个解码器层上的类别无关和类别感知的语义分割不会执行，因此不会引入额外的计算成本。在VOC2007和VOC2012数据集上的实验结果表明，所提出的TripleNet能够在不增加额外计算成本的情况下提高目标检测和语义分割的准确性。