摘要

我们提出了一种完全可微的架构，用于实现语义分割与实例分割的联合任务（即全景分割），该架构由卷积神经网络与非对称多路切割（asymmetric multiway cut）优化求解器组成。后者通过求解一个组合优化问题，巧妙地融合语义预测与边界预测，从而生成全景分割标签。我们的方法能够通过反向传播穿过优化过程，直接最大化全景分割质量指标的平滑代理函数。实验评估表明，在Cityscapes和COCO数据集上，相较于现有对比方法，通过优化问题的梯度反向传播显著提升了性能。总体而言，本方法展示了将组合优化与深度学习相结合，在复杂、大规模真实世界问题中的有效性，并为训练此类架构提供了有益的洞察与优势。