HyperAIHyperAI

Command Palette

Search for a command to run...

长短时 Transformer 用于在线动作检测

Mingze Xu Yuanjun Xiong Hao Chen Xinyu Li Wei Xia Zhuowen Tu Stefano Soatto

摘要

我们介绍了长短期 Transformer (Long Short-term TRansformer, LSTR),这是一种用于在线行为检测的时间建模算法,通过长短期记忆机制来建模长时间序列数据。该算法由一个LSTR编码器组成,该编码器动态利用扩展时间窗口中的粗粒度历史信息(例如,2048帧覆盖长达8分钟的时间范围),以及一个LSTR解码器,该解码器专注于短时间窗口(例如,32帧覆盖8秒的时间范围)以建模数据的细粒度特征。与先前的工作相比,LSTR提供了一种有效且高效的方法来建模长视频,减少了对启发式方法的依赖,这一点已通过广泛的实证分析得到验证。LSTR在三个标准的在线行为检测基准测试中取得了最先进的性能,这些基准测试包括THUMOS'14、TVSeries和HACS Segment。代码已发布在:https://xumingze0308.github.io/projects/lstr


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
长短时 Transformer 用于在线动作检测 | 论文 | HyperAI超神经