摘要
尽管基于骨架的动作识别在近年来取得了显著成功，但现有的大多数方法仍可能面临模型体积庞大和执行速度缓慢的问题。为了解决这一问题，我们分析了骨架序列的特性，提出了一种双特征双运动网络（Double-feature Double-motion Network, DD-Net）用于基于骨架的动作识别。通过采用轻量级网络结构（即0.15百万参数），DD-Net能够实现极高的运行速度，在单个GPU上可达3,500帧每秒（FPS），在单个CPU上可达2,000帧每秒（FPS）。通过使用鲁棒特征，DD-Net在我们的实验数据集SHREC（即手部动作）和JHMDB（即身体动作）上达到了最先进的性能。我们的代码将在本文后续发布。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| hand-gesture-recognition-on-dhg-14 | DD-Net | Accuracy: 94.6 |
| hand-gesture-recognition-on-dhg-28 | DD-Net | Accuracy: 91.9 |
| hand-gesture-recognition-on-shrec-2017-track | DD-Net | 14 gestures accuracy: 94.6 |
| skeleton-based-action-recognition-on-j-hmdb | DD-Net | Accuracy (RGB+pose): - Accuracy (pose): 77.2 |
| skeleton-based-action-recognition-on-jhmdb-2d | DD-Net | Accuracy: 78.0 (average of 3 split train/test) Average accuracy of 3 splits: 77.2 No. parameters: 1.82 M |