摘要

低层次细节与高层次语义在语义分割任务中均至关重要。然而，为提升模型推理速度，现有方法通常不得不牺牲低层次细节信息，导致精度显著下降。为此，我们提出将空间细节与类别语义分别处理，以实现实时语义分割在高精度与高效率之间的良好平衡。为此，我们设计了一种高效且有效的网络架构——双边分割网络（Bilateral Segmentation Network, BiSeNet V2），在速度与精度之间取得了优异的权衡。该架构包含两个并行分支：（i）细节分支（Detail Branch），采用宽通道与浅层结构，用于捕捉低层次细节，并生成高分辨率的特征表示；（ii）语义分支（Semantic Branch），采用窄通道与深层结构，以获取高层语义上下文信息。得益于通道容量的缩减与快速下采样策略，语义分支具有轻量化特性。此外，我们设计了引导聚合层（Guided Aggregation Layer），以增强两分支之间的相互关联，并有效融合两类特征表示。同时，我们提出一种增强型训练策略，在不增加任何推理开销的前提下，进一步提升分割性能。大量定量与定性实验结果表明，所提出的架构在多个主流实时语义分割方法中表现优异。具体而言，在输入分辨率为 2,048×1,024 的情况下，我们在 Cityscapes 测试集上达到了 72.6% 的平均交并比（Mean IoU），并在单张 NVIDIA GeForce GTX 1080 Ti 显卡上实现了 156 FPS 的推理速度。该性能显著优于现有方法，不仅速度更快，且分割精度更高。