摘要
本文的目标是检测动作的空间-时间范围。基于RGB和光流的双流检测网络在模型大小较大和计算量较重的情况下提供了最先进的准确性。我们提出将RGB和光流嵌入到一个二合一的单一流网络中，并引入新的层结构。运动条件层从光流图像中提取运动信息，这些信息被运动调制层利用以生成用于调节低级RGB特征的变换参数。该方法可以轻松嵌入现有的外观或双流动作检测网络，并进行端到端训练。实验结果表明，利用运动条件调制RGB特征可以提高检测精度。尽管计算量和参数仅为现有最先进双流方法的一半，我们的二合一单一流网络仍在UCF101-24、UCFSports和J-HMDB数据集上取得了令人印象深刻的结果。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| action-detection-on-j-hmdb | Two-in-one | Video-mAP 0.5: 57.96 |
| action-detection-on-j-hmdb | Two-in-one Two Stream | Video-mAP 0.5: 74.74 |
| action-detection-on-ucf-sports | Two-in-one Two Stream | Video-mAP 0.5: 96.52 |
| action-detection-on-ucf-sports | Two-in-one | Video-mAP 0.5: 92.74 |
| action-detection-on-ucf101-24 | Two-in-one | Video-mAP 0.2: 75.48 Video-mAP 0.5: 48.31 |
| action-detection-on-ucf101-24 | Two-in-one Two Stream | Video-mAP 0.2: 78.48 Video-mAP 0.5: 50.30 |
| action-recognition-in-videos-on-ucf101 | two-in-one two stream | 3-fold Accuracy: 92 |