HyperAIHyperAI

Command Palette

Search for a command to run...

DMC-Net:生成判别性运动线索以实现快速压缩视频动作识别

Zheng Shou Xudong Lin Yannis Kalantidis Laura Sevilla-Lara Marcus Rohrbach Shih-Fu Chang Zhicheng Yan

摘要

运动在视频理解中已被证明是有用的,其中运动通常由光流表示。然而,从视频帧中计算光流非常耗时。近期的研究直接利用压缩视频中现成的运动向量和残差来表示运动,无需额外成本。虽然这种方法避免了光流计算,但也会降低准确性,因为运动向量存在噪声且分辨率显著降低,这使得它成为一种区分度较低的运动表示方法。为了解决这些问题,我们提出了一种轻量级生成网络,该网络可以减少运动向量中的噪声并捕捉精细的运动细节,从而实现更具区分性的运动线索(Discriminative Motion Cue, DMC)表示。由于光流是一种更为准确的运动表示方法,我们训练DMC生成器使用重建损失和生成对抗损失来近似光流,并与下游的动作分类任务联合进行。在三个动作识别基准数据集(HMDB-51、UCF-101 和 Kinetics 的一个子集)上的广泛评估证实了我们方法的有效性。我们的完整系统包括生成器和分类器,被称为DMC-Net,在推理时其准确率接近使用光流的方法,并且运行速度比使用光流快两个数量级。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DMC-Net:生成判别性运动线索以实现快速压缩视频动作识别 | 论文 | HyperAI超神经