摘要

本文专注于基于骨架的动作识别的无监督表示学习。现有的方法通常通过顺序预测来学习动作表示，但它们在完全学习语义信息方面存在不足。为了解决这一局限性，我们提出了一种名为原型对比与逆向预测（Prototypical Contrast and Reverse Prediction, PCRP）的新框架。该框架不仅通过逆向顺序预测来学习低级信息（例如每帧的身体姿态）和高级模式（例如运动顺序），还设计了动作原型以隐式编码序列之间共享的语义相似性。总体而言，我们将动作原型视为潜在变量，并将PCRP表述为一个期望最大化任务。具体来说，PCRP迭代执行以下步骤：(1) E步，即通过聚类编码器生成的动作编码来确定原型的分布；(2) M步，即通过最小化提出的ProtoMAE损失来优化编码器，这有助于同时将动作编码拉近其分配的原型并完成逆向预测任务。在N-UCLA、NTU 60和NTU 120数据集上进行的大量实验表明，PCRP优于当前最先进的无监督方法，并且在某些情况下甚至超过了有监督方法的表现。代码可在https://github.com/Mikexu007/PCRP 获取。