HyperAIHyperAI

Command Palette

Search for a command to run...

原型对比与反向预测:无监督骨架动作识别

Shihao Xu Haocong Rao Xiping Hu Bin Hu

摘要

本文专注于基于骨架的动作识别的无监督表示学习。现有的方法通常通过顺序预测来学习动作表示,但它们在完全学习语义信息方面存在不足。为了解决这一局限性,我们提出了一种名为原型对比与逆向预测(Prototypical Contrast and Reverse Prediction, PCRP)的新框架。该框架不仅通过逆向顺序预测来学习低级信息(例如每帧的身体姿态)和高级模式(例如运动顺序),还设计了动作原型以隐式编码序列之间共享的语义相似性。总体而言,我们将动作原型视为潜在变量,并将PCRP表述为一个期望最大化任务。具体来说,PCRP迭代执行以下步骤:(1) E步,即通过聚类编码器生成的动作编码来确定原型的分布;(2) M步,即通过最小化提出的ProtoMAE损失来优化编码器,这有助于同时将动作编码拉近其分配的原型并完成逆向预测任务。在N-UCLA、NTU 60和NTU 120数据集上进行的大量实验表明,PCRP优于当前最先进的无监督方法,并且在某些情况下甚至超过了有监督方法的表现。代码可在https://github.com/Mikexu007/PCRP 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
原型对比与反向预测:无监督骨架动作识别 | 论文 | HyperAI超神经