摘要

近年来，语义分割领域取得了显著进展。然而，将分割技术应用于视频处理仍然是一项具有挑战性的任务。具体而言，视频流的高吞吐量、运行全卷积网络的巨大成本，以及许多实际应用（如自动驾驶）对低延迟的要求，给视频分割框架的设计带来了重大挑战。为了解决这一综合挑战，我们开发了一种用于视频语义分割的框架，该框架包含两个创新组件：(1) 特征传播模块，通过空间变分卷积自适应地融合时间上的特征，从而降低每帧计算的成本；(2) 自适应调度器，根据精度预测动态分配计算资源。这两个组件协同工作，确保在保持高分割质量的同时实现低延迟。在Cityscapes和CamVid数据集上，所提出的框架相较于现有最先进方法表现出竞争力，并且大幅降低了延迟，从360毫秒减少到119毫秒。