3 个月前

粗粒度到细粒度的多分辨率时序卷积网络

粗粒度到细粒度的多分辨率时序卷积网络

摘要

时间卷积网络(Temporal Convolutional Networks, TCNs)是时间视频分割任务中广泛采用的一种架构。然而,TCNs 通常容易产生过度分割错误,且需要额外的精炼模块来保证结果的平滑性与时间一致性。本文提出一种新颖的时间编码器-解码器结构,以解决序列碎片化问题。具体而言,该解码器采用从粗到细的层级结构,并隐式地集成多种时间分辨率。通过这种多分辨率集成机制,生成的分割结果更加平滑、准确且校准更优,从而无需依赖额外的精炼模块。此外,我们引入一种多分辨率特征增强策略以提升模型对不同时间分辨率的鲁棒性。最后,为支持所提出的架构并进一步增强序列一致性,我们设计了一种动作级损失函数,用于惩罚视频级别的分类错误。实验结果表明,仅凭本研究所提出的独立架构,结合新颖的特征增强策略与新型损失函数,已在三个时间视频分割基准上超越现有最先进方法。

代码仓库

dipika-singhania/C2F-TCN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
action-segmentation-on-50-salads-1C2F-TCN
Acc: 84.9
Edit: 76.4
F1@10%: 84.3
F1@25%: 81.8
F1@50%: 72.6
action-segmentation-on-assembly101C2F-TCN
Edit: 32.4
F1@10%: 33.3
F1@25%: 29.0
F1@50%: 21.3
MoF: 39.2
action-segmentation-on-breakfast-1C2F-TCN
Acc: 76.0
Average F1: 66.2
Edit: 69.6
F1@10%: 72.2
F1@25%: 68.7
F1@50%: 57.6
action-segmentation-on-gtea-1C2F-TCN
Acc: 80.8
Edit: 86.4
F1@10%: 90.3
F1@25%: 88.8
F1@50%: 77.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
粗粒度到细粒度的多分辨率时序卷积网络 | 论文 | HyperAI超神经