HyperAIHyperAI

Command Palette

Search for a command to run...

记忆匹配不足以应对:联合优化记忆匹配与解码以实现视频目标分割

Jintu Zheng Yun Liang Yuqing Zhang Wanchao Su

摘要

基于记忆的视频对象分割方法通过构建记忆库,在长时序-空间跨度上对多个对象进行建模,取得了显著的性能表现。然而,这类方法在应对错误匹配方面仍存在困难,容易丢失关键信息,导致不同对象之间的混淆。针对这一问题,本文提出一种有效方法,通过联合优化匹配与解码阶段,缓解错误匹配问题。在记忆匹配阶段,我们提出一种代价感知机制,能够抑制短期记忆中的微小误差;同时引入分流式跨尺度匹配策略,用于长期记忆,从而为不同尺度的对象建立更广泛的匹配空间。在读出解码阶段,我们设计了一种补偿机制,旨在恢复匹配阶段中可能丢失的关键信息。所提方法在多个主流基准测试中均取得了优异性能:在DAVIS 2016和2017验证集上分别达到92.4%和88.1%的分割精度,在DAVIS 2017测试集上达到83.9%;在YouTubeVOS 2018和2019验证集上分别取得84.8%和84.6%的准确率。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供