我们提出了一种具有层次分类器的卷积网络，用于逐像素语义分割，该网络能够在多个异构数据集上进行训练，并利用其语义层次结构。我们的网络是首个同时在智能车辆领域的三个不同数据集（即Cityscapes、GTSDB和Mapillary Vistas）上进行训练的模型，能够处理不同的语义细节级别、类别不平衡以及不同的注释类型（即密集的逐像素标签和稀疏的边界框标签）。通过与扁平、非层次分类器进行对比，我们评估了我们的层次方法，并展示了在Cityscapes类别的平均像素精度提高了13.0%，Vistas类别的平均像素精度提高了2.4%，GTSDB类别的平均像素精度提高了32.3%。我们的实现方案在GPU上运行时，对于108个类别，在520x706分辨率下达到了每秒17帧的推理速度。