3 个月前

基于CRF的判别性特征学习用于无监督视频对象分割

基于CRF的判别性特征学习用于无监督视频对象分割

摘要

本文提出了一种新型网络结构——判别性特征网络(Discriminative Feature Network, DFNet),用于解决无监督视频对象分割任务。为捕捉视频帧之间的内在关联,DFNet从输入图像中学习具有判别性的特征(D-features),这些特征能够从全局视角揭示特征分布的规律性。随后,利用条件随机场(Conditional Random Field, CRF)框架,将D-features与测试图像的所有特征建立对应关系,从而在像素层面强制实现一致性约束。实验结果表明,DFNet在DAVIS-2016数据集上取得了83.4%的平均交并比(mean IoU)成绩,显著超越现有最先进方法,并在该数据集的排行榜上位列第一;同时,其参数量远低于现有方法,在推理阶段展现出更高的效率。此外,我们在FBMS数据集和视频显著性数据集ViSal上进一步评估了DFNet,均取得了新的最先进性能。为进一步验证该框架的泛化能力,我们将DFNet拓展应用于图像对象共同分割任务,并在具有挑战性的PASCAL-VOC数据集上进行了实验,结果表明DFNet仍具备显著优势。大量实验充分验证了DFNet在捕捉与挖掘图像间潜在关联、识别共有的前景对象方面具有卓越能力。

基准测试

基准方法指标
unsupervised-video-object-segmentation-on-10DFNet
F: 81.8
G: 82.6
J: 83.4
video-object-segmentation-on-davis-2016DFNet
F-Score: 81.8
video-object-segmentation-on-davis-2016Ours
Jaccard (Mean): 83.4
video-object-segmentation-on-fbmsDFNet
F-Score: 82.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于CRF的判别性特征学习用于无监督视频对象分割 | 论文 | HyperAI超神经