4 个月前

Skeleton-DML:基于骨架的单次动作识别的深度度量学习

Skeleton-DML:基于骨架的单次动作识别的深度度量学习

摘要

单次动作识别允许仅通过一个训练样本就能识别出人类执行的动作。这可以通过使机器人对先前未见过的行为作出反应,从而积极影响人机交互。我们将单次动作识别问题表述为深度度量学习问题,并提出了一种新颖的基于图像的骨架表示方法,该方法在度量学习环境中表现出色。为此,我们训练了一个模型,该模型将图像表示投影到嵌入空间中。在嵌入空间中,相似的动作具有较低的欧氏距离,而不相似的动作则具有较高的距离。单次动作识别问题因此转化为在一组活动参考样本集合中进行最近邻搜索的问题。我们评估了所提出的表示方法与其他多种基于骨架的图像表示方法的性能对比。此外,我们还展示了一项消融研究,该研究揭示了不同嵌入向量大小、损失函数和数据增强技术的影响。我们的方法在NTU RGB+D 120数据集上,在可比的训练设置下,将单次动作识别协议的最先进水平提高了3.3%。通过额外的数据增强,我们的结果进一步提升了7.7%。

代码仓库

raphaelmemmesheimer/skeleton-dml
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
one-shot-3d-action-recognition-on-ntu-rgbdSkeleton-DML
Accuracy: 54.2%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Skeleton-DML:基于骨架的单次动作识别的深度度量学习 | 论文 | HyperAI超神经