在计算机视觉应用中，尤其是语义分割这类对安全性要求极高的场景（如自动驾驶和医学图像分析），能够有效检测故障与异常是构建可靠系统的基本需求。本文系统地研究了语义分割中的故障与异常检测问题，并提出了一种统一的框架，该框架由两个模块组成，以协同解决这两个密切相关的问题。第一个模块为图像合成模块，能够根据给定的分割布局图生成合成图像；第二个模块为对比模块，用于计算合成图像与输入图像之间的差异。我们在三个具有挑战性的数据集上对所提框架进行了验证，实验结果显著优于现有技术水平，具体表现为：在Cityscapes数据集上AUPR-Error提升6%；在MSD胰腺肿瘤分割任务中皮尔逊相关系数提升7%；在StreetHazards异常分割任务中AUPR提升20%。