摘要

具有部件感知的全景分割（Part-aware Panoptic Segmentation, PPS）要求对图像中的每个前景对象和背景区域进行分割和分类，并且需要对前景对象内部的所有部件进行分割、分类并将其链接到所属的父对象。现有的方法通过分别执行对象级别的分割和部件级别的分割来解决PPS问题。然而，这些方法的部件级别预测并未与特定的父对象关联，因此其学习目标与PPS任务的目标不一致，这影响了PPS的性能。为了解决这一问题，并提高PPS预测的准确性，我们提出了一种任务对齐的部件感知全景分割方法（Task-Aligned Part-aware Panoptic Segmentation, TAPPS）。该方法使用一组共享查询来联合预测（a）对象级别的片段和（b）同一对象内的部件级别片段。因此，TAPPS学会了预测与特定父对象相关联的部件级别片段，使学习目标与任务目标保持一致，并允许TAPPS利用联合的对象-部件表示。通过实验，我们证明TAPPS显著优于分别预测对象和部件的方法，并取得了新的PPS最佳结果。