摘要

时间动作检测（Temporal Action Detection, TAD）专注于检测预定义的动作，而时刻检索（Moment Retrieval, MR）则旨在从未经剪辑的视频中识别由开放性自然语言描述的事件。尽管它们关注的事件不同，我们观察到两者之间存在显著的联系。例如，MR中的大多数描述涉及来自TAD的多个动作。在本文中，我们旨在研究TAD和MR之间的潜在协同效应。首先，我们提出了一种统一架构，称为统一时刻检测（Unified Moment Detection, UniMD），用于同时处理TAD和MR任务。该架构将两个任务的输入（即TAD的动作或MR的事件）转换到一个共同的嵌入空间，并利用两个新颖的查询依赖解码器生成分类分数和时间片段的统一输出。其次，我们探讨了两种任务融合学习方法——预训练和联合训练的有效性，以增强TAD和MR之间的互惠效应。大量实验表明，所提出的任务融合学习方案使这两个任务能够互相帮助，并且优于单独训练的方法。令人印象深刻的是，UniMD在三个配对数据集Ego4D、Charades-STA和ActivityNet上取得了最先进的结果。我们的代码已发布在https://github.com/yingsen1/UniMD。