摘要

在视频理解任务中，日益增多的多样化实际应用场景对设计一种通用解决方案提出了巨大挑战，该方案需具备广泛适用性，并满足边缘计算场景下对高效推理的严苛要求。本文聚焦于设计一种新型网络架构与训练流程，以应对上述挑战。所提出的架构融合了先前方法的诸多优势，不仅在基于外观的动作识别任务中表现优异，同时在基于运动特征的问题上也展现出卓越性能。此外，本文首次系统性地分析了标签噪声问题，并提出了自适应片段选择（Adaptive Clip Selection, ACS）框架以有效缓解该问题。上述设计共同构成了LIGAR框架，使其成为一种真正意义上的通用动作识别解决方案。我们还在通用动作识别与手势识别数据集上进行了广泛实验，结果表明，LIGAR在性能与推理精度之间实现了显著优于现有先进方法的平衡。训练代码已开源，地址为：https://github.com/openvinotoolkit/training_extensions。为支持高效边缘推理，所有训练完成的模型均可导出为OpenVINO格式，便于在边缘设备上部署与运行。