3 个月前

基于空间注意力机制的3D图卷积神经网络用于手语识别

基于空间注意力机制的3D图卷积神经网络用于手语识别

摘要

手语是听力障碍人士与他人交流的主要渠道。作为一种视觉语言,手语通过手势与非手势参数的复杂结构来传递信息,因此对听力健全者而言,掌握手语需要付出大量努力。手语识别技术旨在降低学习难度,弥合听力障碍人士与他人之间的沟通鸿沟。本研究提出了一种基于卷积图神经网络(GCN)的高效手语识别架构。该架构由若干可分离的3D图卷积网络(3DGCN)层构成,并引入空间注意力机制进行增强。由于所提出的架构层数有限,有效避免了深度图神经网络中常见的过度平滑问题。此外,注意力机制进一步提升了手势的空间上下文表征能力。在多个数据集上的实验结果表明,该方法取得了优异的识别性能。

基准测试

基准方法指标
sign-language-recognition-on-lsa643DGCN
Accuracy (%): 94.84

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于空间注意力机制的3D图卷积神经网络用于手语识别 | 论文 | HyperAI超神经