3 个月前

零样本动作识别中的纠错输出码

零样本动作识别中的纠错输出码

摘要

近年来,随着动作类别数量的爆炸式增长,零样本动作识别(Zero-Shot Action Recognition, ZSAR)逐渐成为研究热点。本文从一个全新的视角出发,提出了一种基于纠错输出编码(Error-Correcting Output Codes,简称ZSECOC)的ZSAR方法。所提出的ZSECOC在传统ECOC框架的基础上,进一步赋予其处理零样本动作识别的能力,有效缓解了领域偏移(domain shift)问题。具体而言,我们通过融合类别级语义信息与数据内在结构,学习具有判别性的ZSECOC表示,用于已见类别。该过程通过将已见类别之间已建立的强关联关系迁移至未见类别,从而隐式地应对领域偏移问题。此外,本文还设计了一种简洁的语义迁移策略,显式地将已见类别的学习嵌入向量调整,使其更贴合未见类别的潜在结构。因此,ZSECOC不仅继承了ECOC方法在分类性能方面的优异特性,同时有效克服了领域偏移问题,显著提升了在零样本场景下的判别能力。我们在三个真实世界动作识别基准数据集——Olympic Sports、HMDB51和UCF101上对ZSECOC进行了系统性评估。实验结果充分表明,与当前最先进的方法相比,ZSECOC在各项指标上均展现出显著优势。

基准测试

基准方法指标
zero-shot-action-recognition-on-hmdb51ZSECOC
Top-1 Accuracy: 22.6
zero-shot-action-recognition-on-olympicsZSECOC
Top-1 Accuracy: 59.8
zero-shot-action-recognition-on-ucf101ZSECOC
Top-1 Accuracy: 15.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
零样本动作识别中的纠错输出码 | 论文 | HyperAI超神经