3 个月前

AZTR:基于自动缩放与时间推理的空中视频动作识别

AZTR:基于自动缩放与时间推理的空中视频动作识别

摘要

我们提出了一种面向无人机航拍视频动作识别的新型方法。该方法专为无人机(UAV)拍摄的视频设计,可在边缘设备或移动终端上高效运行。我们提出了一种基于学习的解决方案,采用定制化的自动变焦技术,能够自动检测人体目标并将其缩放到合适的尺度,从而更易于提取关键特征,同时显著降低计算开销。此外,我们还设计了一种高效的时序推理算法,可在可控的计算成本下,有效捕捉空间与时间维度上的动作信息。所提方法已在桌面端(配备高端GPU)以及低功耗的机器人RB5平台(适用于机器人与无人机)上实现并完成评估。实验结果表明,在RoCoG-v2数据集上,我们的方法在Top-1准确率上相较当前最优(SOTA)方法提升了6.1%至7.4%;在UAV-Human数据集上提升8.3%至10.4%;在Drone Action数据集上提升3.2%,验证了该方法在实际应用中的优越性能与高效性。

基准测试

基准方法指标
action-recognition-on-drone-actionAZTR
Top-1 Accuracy: 95.9
action-recognition-on-rocog-v2AZTR (Ours)
Top-1 Accuracy: 40.2
action-recognition-on-uav-humanAZTR
Top 1 Accuracy: 47.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
AZTR:基于自动缩放与时间推理的空中视频动作识别 | 论文 | HyperAI超神经