HyperAIHyperAI

Command Palette

Search for a command to run...

使用全局和局部迁移模块的交互式视频对象分割

Yuk Heo Yeong Jun Koh Chang-Su Kim

摘要

本文提出了一种交互式视频对象分割算法,该算法以查询对象上的涂鸦注释作为输入。我们开发了一个深度神经网络,该网络由注释网络(A-Net)和传输网络(T-Net)组成。首先,给定用户在某一帧上的涂鸦注释,A-Net基于编码器-解码器架构生成分割结果。其次,T-Net通过使用全局传输模块和局部传输模块双向传输分割结果到其他帧。全局传输模块将注释帧中的分割信息传递到目标帧,而局部传输模块则将时间相邻帧中的分割信息传播到目标帧。通过交替应用A-Net和T-Net,用户可以以最小的努力获得所需的分割结果。我们分两个阶段训练整个网络,通过模拟用户涂鸦并采用辅助损失函数。实验结果表明,所提出的交互式视频对象分割算法优于现有的最先进传统算法。代码和模型可在 https://github.com/yuk6heo/IVOS-ATNet 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用全局和局部迁移模块的交互式视频对象分割 | 论文 | HyperAI超神经