摘要

当前的参考视频对象分割（R-VOS）技术通常从编码后的低分辨率视觉-语言特征中提取条件化卷积核，用于对解码后的高分辨率特征进行分割。我们发现，这一过程会导致显著的特征漂移现象，使得分割卷积核在前向传播过程中难以有效感知此类变化，从而削弱了其分割能力。为解决该特征漂移问题，本文提出一种谱引导的多粒度（Spectrum-guided Multi-granularity, SgMg）方法：该方法直接在编码特征上执行分割，并利用视觉细节进一步优化分割掩码。此外，我们设计了谱引导的跨模态融合（Spectrum-guided Cross-modal Fusion, SCF）机制，通过在频谱域内实现帧内全局交互，以构建更有效的多模态表征。最后，我们将SgMg方法拓展至多对象R-VOS任务，提出一种新型分割范式，支持在单帧中同时对多个参考对象进行分割。该方法不仅显著提升了R-VOS的推理速度，也增强了其实际应用价值。大量实验表明，SgMg在四个主流视频分割基准数据集上均达到当前最优性能，在Ref-YouTube-VOS数据集上相比最近的基线方法提升达2.8个百分点。所扩展的SgMg方法可实现多对象R-VOS，推理速度提升约3倍，同时保持令人满意的分割精度。代码已开源，地址为：https://github.com/bo-miao/SgMg。