HyperAIHyperAI

Command Palette

Search for a command to run...

细粒度侧信息引导的双提示用于零样本骨架动作识别

Yang Chen Jingcai Guo Tian He Ling Wang

摘要

基于骨架的零样本动作识别旨在根据已知骨架动作的学习先验和已知与未知类别共享的语义描述空间来识别未知的人类动作。然而,以往的研究主要集中在粗粒度层面建立已知骨架表示空间与语义描述空间之间的桥梁,忽略了这两个空间在细粒度层面的对齐,导致在区分高相似度动作类别时性能不佳。为了解决这些挑战,我们提出了一种新的方法,通过侧信息和双提示学习(Side information and dual-prompts learning)实现基于骨架的细粒度零样本动作识别(STAR)。具体而言,1)我们根据骨架的拓扑结构将其分解为多个部分,并引入关于人体运动多部分描述的侧信息,以实现骨架与语义空间在细粒度层面的对齐;2)我们设计了视觉属性提示和语义部分提示,分别提高了骨架空间内的类内紧凑性和语义空间内的类间可分性,从而区分高相似度的动作。广泛的实验表明,我们的方法在NTU RGB+D、NTU RGB+D 120和PKU-MMD数据集上的零样本学习(ZSL)和广义零样本学习(GZSL)设置中取得了最先进的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
细粒度侧信息引导的双提示用于零样本骨架动作识别 | 论文 | HyperAI超神经