摘要

近年来，时序动作分割（Temporal Action Segmentation）方法取得了显著进展。然而，为了训练此类模型，需对视频进行逐帧标注，这一过程成本高昂且耗时。尽管仅使用有序动作列表进行弱监督训练的方法可显著降低标注成本，但其性能仍不及完全监督方法。本文提出采用时间戳（timestamp）监督来解决该问题。时间戳标注所需的标注工作量与弱监督方法相当，但能提供更丰富的监督信号。为验证时间戳监督的有效性，我们提出一种仅依赖时间戳标注训练分割模型的方法。该方法利用模型输出与标注的时间戳，通过检测动作变化点来生成逐帧标签。此外，我们引入一种置信度损失（confidence loss），强制模型预测的概率随与时间戳距离的增加而单调递减。这一机制确保在训练过程中，不仅学习到动作中最显著的帧，还能充分学习到所有相关帧的信息。在四个数据集上的实验结果表明，使用时间戳标注训练的模型性能可与完全监督方法相媲美。