摘要

全景分割方法会为输入图像中的每个像素分配一个已知类别。即使在最先进的方法中，这种设定不可避免地会导致对训练类别之外物体的错误预测，从而产生系统性误判。然而，在安全关键性应用场景中，模型对分布外样本和极端情况的鲁棒性至关重要，以避免产生危险后果。由于真实世界数据集无法充分覆盖底层数据分布的长尾部分，模型必须能够应对未见且未知的场景。此前的方法通过重新识别已知但未标注的物体来应对这一挑战。在本研究中，我们提出了扩展分割任务的关键一步，引入了一种全新的设定——整体分割（holistic segmentation）。整体分割的目标是在执行已知类别的全景分割的同时，无需任何先验知识，即可识别并分离出未知类别物体的独立实例。为此，我们提出U3HS方法，该方法将未知物体识别为不确定性较高的区域，并将其对应的实例感知嵌入（instance-aware embeddings）聚类为独立对象。与以往方法不同，U3HS首次在不包含未知类别标签的情况下进行训练，从而减少了对先验假设的依赖，使模型设置更贴近真实世界中的开放性场景。我们在MS COCO、Cityscapes以及Lost&Found等公开数据集上进行了大量实验，充分验证了U3HS在这一新颖、具有挑战性且无假设限制的设定——整体分割中的有效性。项目主页：https://holisticseg.github.io。