{Hamid GhalebTaha AlfakihmHamdi AltaheriMohammed AlgabriMohammed FaisalHassan MathkourTareq S. AlrayesYousef A. AlohaliWadood AbdulMohamed Amine MekhticheGhulam MuhammadMansour AlsulaimanMohamed A. BencherifMuneer Al-Hammadi}
摘要
手语是听力障碍人士与他人交流的主要渠道。作为一种视觉语言,手语通过手势与非手势参数的复杂结构来传递信息,因此对听力健全者而言,掌握手语需要付出大量努力。手语识别技术旨在降低学习难度,弥合听力障碍人士与他人之间的沟通鸿沟。本研究提出了一种基于卷积图神经网络(GCN)的高效手语识别架构。该架构由若干可分离的3D图卷积网络(3DGCN)层构成,并引入空间注意力机制进行增强。由于所提出的架构层数有限,有效避免了深度图神经网络中常见的过度平滑问题。此外,注意力机制进一步提升了手势的空间上下文表征能力。在多个数据集上的实验结果表明,该方法取得了优异的识别性能。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| sign-language-recognition-on-lsa64 | 3DGCN | Accuracy (%): 94.84 |