摘要

语义场景理解对于在多种环境中运行的移动智能体至关重要。尽管语义分割已提供大量信息，但个体物体的细节以及整体场景的完整理解仍存在缺失，而这对于许多现实世界的应用而言却是必需的。然而，在移动平台受限的计算能力和电池资源条件下，若分别求解多个任务，不仅成本高昂，且难以实现实时处理。本文提出一种高效的RGB-D场景分析多任务框架（EMSANet），能够实时同步完成语义分割与实例分割（即全景分割）、实例方向估计以及场景分类等多项任务。我们证明，通过单一神经网络即可在移动平台上实现实时处理，且不牺牲性能；相反，各任务之间还能相互促进、协同提升。为评估所提出的多任务方法，我们扩展了常用RGB-D室内数据集NYUv2和SUNRGB-D的标注，新增实例分割与方向估计的标注信息。据我们所知，本工作是首个在NYUv2和SUNRGB-D数据集上实现如此全面多任务设置的室内场景分析研究，为该领域提供了新的基准。